来自 AI 研究立场图谱百科
检索国家主义:认为知识应当存放在外部索引里而不是模型权重中,并把检索做成模型的核心器官。
主张
检索国家主义在”思考”和”记忆”之间划了一条清楚的界线。权重里应该装的是技能:阅读、推理、组织语言;事实应该放在一个大型、可更新的索引里,模型干活时随时去查。把整个世界背进参数里既浪费,又在训练结束那天就开始过时,还没法审计。会检索的模型可以更小,能给出处,靠重建索引而不是重训就能保持更新。国家的职责是建好这座大图书馆,并把检索变成模型的原生器官。
它位于 Language 一侧、靠近 Harness 一端,紧挨着 RAG 互助主义那种比较松散的 RAG 流水线。它的不同在于把检索当作模型本身的一部分,常常联合训练,而不是事后外挂的流水线。范式等级为稳健:检索增强模型研究充分、部署广泛,不过”小推理器加超大索引”的纯粹愿景至今仍有争论。
论据
- 检索增强模型在知识密集型任务上能追平大得多的纯参数模型,参数量却少得多。
- 更新索引就能改变模型知道的东西,无需重训,既解决过时问题,也能删除特定内容。
- 检索到的段落提供了出处,回答更容易核实。
批评
- 长上下文派认为,把文档直接塞进超大 context window 就不需要单独的检索器了。
- 检索质量成了瓶颈;检索错了或漏了,模型就会信心十足地答错。
- 有些知识最好内化:要在一个领域里流畅推理,靠一条条查事实是不够的。
代表作
- Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks2020
- REALM: Retrieval-Augmented Language Model Pre-Training2020
- Improving language models by retrieving from trillions of tokens2021
关系
怎样测出它
在完整版或专业版里落到这一格:x ≈ −0.60,y ≈ −0.94,范式 ≈ −0.35。