来自 AI 研究立场图谱百科
表征集权主义:认为应该大规模训练一个通用表征,然后让所有下游任务都从这一个表征里读取。
主张
表征集权主义认为,深度学习真正的产出不是”一个能干某件事的模型”,而是一个让所有事情都变得容易的 embedding 空间。先把一个 encoder 练到极好,冻住,剩下的交给 linear probe、小 head 和 adapter。分类、检索、分割、策略学习,本质上都只是从同一个”中央银行”里取特征。为每个任务单独训练,在它看来就像每个省自己印钞,纯属重复建设。
它在图上位于中线右侧、上半区,偏向 Monolith 一端:偏感知而非纯语言,因为它最有代表性的产物是图像和视频 encoder;偏单体,因为核心卖点就是唯一的 backbone。范式等级为稳健,不打算推翻现有秩序,只要求所有下游系统都向同一个表征交税。
论据
- 大规模自监督或对比学习得到的冻结特征,只接一个 linear probe 就能迁移到大量任务,说明知识主要存储在表征里。
- 一个共享 backbone 把最贵的学习成本摊薄了,下游团队只需迭代廉价的 head,不用每次从头训。
- 好的 embedding 空间顺带支持检索、聚类和 zero-shot 迁移,这些用途是任何单任务模型都没预想到的。
批评
- 端到端派指出:任务真重要的时候,整体 fine-tune 通常仍然比冻结特征强。
- 所谓”通用”取决于选了哪套 benchmark;一个表征可能看起来包打天下,却丢了精细几何、小字或时序信息。
- Harness 派会说,下游用户越来越想要的是能行动的 agent,而不是一个向量。
代表作
- Representation Learning: A Review and New Perspectives2013
- DINOv2: Learning Robust Visual Features without Supervision2023
关系
怎样测出它
在完整版或专业版里落到这一格:x ≈ +0.66,y ≈ +0.43,范式 ≈ −0.29。