来自 AI 研究立场图谱百科
长上下文扩张主义:相信越来越长的 context window 将取代检索系统和外部记忆,让模型一次读完所有东西。
主张
长上下文扩张主义追求以 token 计量的领土扩张。既然模型可以一口气读完整个代码库、整个合同档案、整套系列小说,为什么还要搭检索器、切 chunk、建向量库、写记忆管理器?context window 每扩张一次,就有一块脚手架被溶解掉。attention 是迄今最灵活的检索机制;给它足够的空间,它自己就能找到需要的东西,用不着一个外部系统事先去猜什么相关。
它位于中间略偏左,纵向在上半区、偏 Monolith:仍然是一个模型,但它吞并了原本要由 harness 在外部实现的功能。范式等级是主流。旋转位置编码、高效 attention kernel 和分布式序列并行让超长上下文变得可行,扩张派把每一个新上限都当作暂时的边界。
论据
- 上下文达到几十万乃至上百万 token 的模型,可以直接回答关于整本书、整个代码库和整段视频转录的问题。
- 放在上下文里的信息能被完整 attention 利用,避免了检索器漏掉关键段落的失败模式。
- 长上下文支持 many-shot in-context learning,用几百个示例就能让模型适应任务,无需 fine-tune。
批评
- 研究表明,模型对长上下文中间部分信息的利用不如开头和结尾可靠。
- attention 的计算和显存开销随长度增长,和检索相比,每次查询都又慢又贵。
- 记忆派认为 context window 不是记忆:每次会话结束就被清空了。
代表作
- RoFormer: Enhanced Transformer with Rotary Position Embedding2021
- Ring Attention with Blockwise Transformers for Near-Infinite Context2023
- Gemini 1.5: Unlocking multimodal understanding across millions of tokens of context2024
关系
怎样测出它
在完整版或专业版里落到这一格:x ≈ −0.14,y ≈ +0.61,范式 ≈ −0.53。