任意到任意帝国主义

来自 AI 研究立场图谱百科

任意到任意帝国主义:一个模型应当能吃进任意模态、吐出任意模态,沿途吞并所有专用系统。

主张

任意到任意帝国主义看着眼前这座专用模型动物园——这边一个 captioner,那边一个 TTS,再远处一个图像生成器——看到的是一片等待统一的行省。它的目标是一个网络:把文本、图像、音频、视频的任意组合,映射到任意其他组合。在它眼里,每个仍然存活的专用模型,只是帝国尚未吞并的一项能力。

它位于图表最顶端、略偏右。单体的位置体现了它的扩张主义:能力应该靠训练加进来,而不是再外挂一个模型。它的横向位置只略偏右,因为它真正做到了模态无关,对语言和感知都没有特殊忠诚。它的范式分数为中立:真正完全做到的生产系统寥寥无几,但这种尝试是在延伸当下规模化 Transformer 的路线,而不是抛弃它。

论据

  • 模态共享权重时,跨模态迁移最强:一个既能听又能说的模型,可以从两个方向同时学到韵律。
  • 去掉专用模型之间的交接,就去掉了每个边界上不断累积的误差和延迟。
  • 已有研究系统在一个自回归模型里覆盖了视觉、语言、音频和动作,说明这条路在可观规模上走得通。

批评

  • 样样模态都会的模型,在任何单项任务上往往都打不过专门模型。
  • 多模态混合训练很难配平,某一种模态可能悄悄占据主导,或者拖累其它模态。
  • Harness 派指出,路由到专用模型更便宜、更易更新,而且通常已经够用。

代表作

关系

怎样测出它

在完整版或专业版里落到这一格:x ≈ +0.62,y ≈ +0.91,范式 ≈ −0.01。

这是初稿。欢迎通过 pull request 修正或补充更好的论据。 在 GitHub 上编辑这个词条 编辑它的数据