表征集权主义

来自 AI 研究立场图谱百科

表征集权主义:认为应该大规模训练一个通用表征,然后让所有下游任务都从这一个表征里读取。

主张

表征集权主义认为,深度学习真正的产出不是”一个能干某件事的模型”,而是一个让所有事情都变得容易的 embedding 空间。先把一个 encoder 练到极好,冻住,剩下的交给 linear probe、小 head 和 adapter。分类、检索、分割、策略学习,本质上都只是从同一个”中央银行”里取特征。为每个任务单独训练,在它看来就像每个省自己印钞,纯属重复建设。

它在图上位于中线右侧、上半区,偏向 Monolith 一端:偏感知而非纯语言,因为它最有代表性的产物是图像和视频 encoder;偏单体,因为核心卖点就是唯一的 backbone。范式等级为稳健,不打算推翻现有秩序,只要求所有下游系统都向同一个表征交税。

论据

  • 大规模自监督或对比学习得到的冻结特征,只接一个 linear probe 就能迁移到大量任务,说明知识主要存储在表征里。
  • 一个共享 backbone 把最贵的学习成本摊薄了,下游团队只需迭代廉价的 head,不用每次从头训。
  • 好的 embedding 空间顺带支持检索、聚类和 zero-shot 迁移,这些用途是任何单任务模型都没预想到的。

批评

  • 端到端派指出:任务真重要的时候,整体 fine-tune 通常仍然比冻结特征强。
  • 所谓”通用”取决于选了哪套 benchmark;一个表征可能看起来包打天下,却丢了精细几何、小字或时序信息。
  • Harness 派会说,下游用户越来越想要的是能行动的 agent,而不是一个向量。

代表作

关系

怎样测出它

在完整版或专业版里落到这一格:x ≈ +0.66,y ≈ +0.43,范式 ≈ −0.29。

这是初稿。欢迎通过 pull request 修正或补充更好的论据。 在 GitHub 上编辑这个词条 编辑它的数据