kaoteng.com2026.10.22

把变化看清楚

考腾资讯网
技术 · 前沿动态

端侧模型跑起来之后,服务器的角色变了

当一部分推理直接在手机和电脑上完成,后台承担的工作从算得更多,变成了管得更细:分发、校验、回收与兜底。

2026-11-12编辑部约 4 分钟4 条留言

算力往边上挪

端侧芯片这两年在能效上进步明显,一些中等规模的模型已经能在本地完成推理,响应更快,也不必把数据传出去。

这改变的不只是速度。数据不出设备,隐私与合规的压力同时下降了一截。

后台开始管分发

模型要按设备能力分成不同版本,后台负责判断哪台设备该拿哪一版,还要处理增量更新与回滚。

这更像软件分发系统而不是计算中心。版本清单、灰度比例、失败回退,成了主要工作。

校验放在哪一层

端侧输出无人复核,质量把关就要前移。常见做法是在本地加一层规则校验,把明显不合规的结果拦在展示之前。

规则本身也要能更新,否则新出现的问题只能等下一次整包发版才能处理。

兜底仍然在云上

设备性能不足、模型版本不支持或者本地算力被占用时,请求会回落到云端。这条路径必须一直可用。

兜底链路平时流量很低,容易被忽视,真正用到时才发现容量和限流都没配好。

成本结构变了

推理从集中转向分散之后,云端的带宽与算力账单下降,取而代之的是分发、监控与设备适配的投入。

这笔账要整体算。只看单次推理成本会得出错误结论,维护与迭代的长期投入同样要计入。

本文由考腾资讯网编辑部整理撰写,观点仅供参考;转载请注明来源与链接。

读者留言

共 4 条 · 精选展示
移
移动端开发2026-11-12

版本分发这块确实是新工作量,我们今年专门加了两个人。

老
老赵2026-11-12

兜底链路平时不管,真出问题就抓瞎,吃过一次亏。

算
算法小许2026-11-12

本地规则校验这个思路好,能拦住不少明显问题。

成
成本会计2026-11-12

整体算账这点太重要,单看推理单价会误判。

延伸阅读