来自 AI 研究立场图谱百科
检索增强互助主义:语言模型和外部知识库最好结成伙伴:知识库提供事实,模型提供推理和表达。
主张
检索增强互助主义相信参数记忆和非参数记忆之间的合作关系。模型擅长理解问题、综合和写作;索引擅长装下大量、最新、可引用的事实。谁也不该去干对方的活。先检索相关段落,放进上下文,再让模型在上面推理:知识不用重训就能更新,答案能指向出处,模型的参数也能花在技能上而不是记琐碎事实。
它位于中线左侧的 Language 一侧,靠近 Harness 一端:检索是系统层面的设计,有 retriever、index 和 generator。它是左侧紧邻的检索国家主义的务实合作派表亲——后者出于原则要把知识赶出权重,互助派则只要两者互相帮衬就满意。主流的色号代表一个成熟学派:检索增强如今已是企业应用和搜索型助手的标准做法。
论据
- 检索让系统不用重训模型就能用最新或私有的信息作答。
- 把回答建立在检索到的段落上,可以给出引用,并且在知识密集型任务上往往能减少无依据的说法。
- 在一些知识类 benchmark 上,检索增强模型能用更少参数追平更大的模型,因为事实放在索引里。
批评
- 检索质量是瓶颈:取回错误段落时,模型会照着它自信地答错。
- 长上下文派认为,直接把整份文档塞进上下文,就能避免检索错误和流水线复杂度。
- 切块、embedding 和排序引入了大量手调组件,很难做端到端评估。
代表作
- REALM: Retrieval-Augmented Language Model Pre-Training2020
- Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks2020
- Improving language models by retrieving from trillions of tokens2021
关系
亦敌亦友
怎样测出它
在完整版或专业版里落到这一格:x ≈ −0.59,y ≈ −0.96,范式 ≈ −0.54。