理解生成统一主义

来自 AI 研究立场图谱百科

理解生成统一主义:看懂图和画出图是同一种能力的两面,应该由一个统一模型完成。

主张

理解生成统一主义拒绝那套把计算机视觉分裂了多年的分工:识别模型在一边,生成模型在另一边。一个真正看懂场景的模型,应该能把它画出来;一个能画出场景的模型,在某种意义上也必然看懂了它。这个“工会”要求一套权重,既能回答关于图像的问题,又能在同一口气里生成图像。

它位于图表最顶端、明显偏世界一侧。单体立场是它的核心承诺:一个模型,而不是一个 captioner 胶水粘上一个扩散生成器。横向偏右,体现了它以感知(像素进、像素出)为本体,语言(指令、回答)则是接口。它的范式等级是主流:统一模型已是标准的前沿方向,不过社区仍在争论怎样让它同时把两件事都做好。

论据

  • 用同一目标预测文本和视觉 token 的统一自回归模型,已在理解和生成两边都取得了有竞争力的结果。
  • 共享训练让生成可以借用为理解而学到的世界知识和指令遵循能力。
  • 单一模型能完成紧密耦合的任务,比如先对图像内容做一段推理,再据此编辑图像。

批评

  • 理解偏好抽象的语义特征,生成却需要精细的像素细节;有时不得不用解耦的视觉编码器来调和两者。
  • 统一模型往往仍落后于最强的专用生成器或最强的专用理解模型。
  • 模块化派认为,把一个强视觉语言模型和一个强扩散模型组合起来,更便宜也更容易迭代。

代表作

关系

怎样测出它

在完整版或专业版里落到这一格:x ≈ +0.69,y ≈ +0.92,范式 ≈ −0.46。

这是初稿。欢迎通过 pull request 修正或补充更好的论据。 在 GitHub 上编辑这个词条 编辑它的数据