长上下文扩张主义

来自 AI 研究立场图谱百科

长上下文扩张主义:相信越来越长的 context window 将取代检索系统和外部记忆,让模型一次读完所有东西。

主张

长上下文扩张主义追求以 token 计量的领土扩张。既然模型可以一口气读完整个代码库、整个合同档案、整套系列小说,为什么还要搭检索器、切 chunk、建向量库、写记忆管理器?context window 每扩张一次,就有一块脚手架被溶解掉。attention 是迄今最灵活的检索机制;给它足够的空间,它自己就能找到需要的东西,用不着一个外部系统事先去猜什么相关。

它位于中间略偏左,纵向在上半区、偏 Monolith:仍然是一个模型,但它吞并了原本要由 harness 在外部实现的功能。范式等级是主流。旋转位置编码、高效 attention kernel 和分布式序列并行让超长上下文变得可行,扩张派把每一个新上限都当作暂时的边界。

论据

  • 上下文达到几十万乃至上百万 token 的模型,可以直接回答关于整本书、整个代码库和整段视频转录的问题。
  • 放在上下文里的信息能被完整 attention 利用,避免了检索器漏掉关键段落的失败模式。
  • 长上下文支持 many-shot in-context learning,用几百个示例就能让模型适应任务,无需 fine-tune。

批评

  • 研究表明,模型对长上下文中间部分信息的利用不如开头和结尾可靠。
  • attention 的计算和显存开销随长度增长,和检索相比,每次查询都又慢又贵。
  • 记忆派认为 context window 不是记忆:每次会话结束就被清空了。

代表作

关系

怎样测出它

在完整版或专业版里落到这一格:x ≈ −0.14,y ≈ +0.61,范式 ≈ −0.53。

这是初稿。欢迎通过 pull request 修正或补充更好的论据。 在 GitHub 上编辑这个词条 编辑它的数据