检索增强互助主义

来自 AI 研究立场图谱百科

检索增强互助主义:语言模型和外部知识库最好结成伙伴:知识库提供事实,模型提供推理和表达。

主张

检索增强互助主义相信参数记忆和非参数记忆之间的合作关系。模型擅长理解问题、综合和写作;索引擅长装下大量、最新、可引用的事实。谁也不该去干对方的活。先检索相关段落,放进上下文,再让模型在上面推理:知识不用重训就能更新,答案能指向出处,模型的参数也能花在技能上而不是记琐碎事实。

它位于中线左侧的 Language 一侧,靠近 Harness 一端:检索是系统层面的设计,有 retriever、index 和 generator。它是左侧紧邻的检索国家主义的务实合作派表亲——后者出于原则要把知识赶出权重,互助派则只要两者互相帮衬就满意。主流的色号代表一个成熟学派:检索增强如今已是企业应用和搜索型助手的标准做法。

论据

  • 检索让系统不用重训模型就能用最新或私有的信息作答。
  • 把回答建立在检索到的段落上,可以给出引用,并且在知识密集型任务上往往能减少无依据的说法。
  • 在一些知识类 benchmark 上,检索增强模型能用更少参数追平更大的模型,因为事实放在索引里。

批评

  • 检索质量是瓶颈:取回错误段落时,模型会照着它自信地答错。
  • 长上下文派认为,直接把整份文档塞进上下文,就能避免检索错误和流水线复杂度。
  • 切块、embedding 和排序引入了大量手调组件,很难做端到端评估。

代表作

关系

怎样测出它

在完整版或专业版里落到这一格:x ≈ −0.59,y ≈ −0.96,范式 ≈ −0.54。

这是初稿。欢迎通过 pull request 修正或补充更好的论据。 在 GitHub 上编辑这个词条 编辑它的数据