来自 AI 研究立场图谱百科
理解生成统一主义:看懂图和画出图是同一种能力的两面,应该由一个统一模型完成。
主张
理解生成统一主义拒绝那套把计算机视觉分裂了多年的分工:识别模型在一边,生成模型在另一边。一个真正看懂场景的模型,应该能把它画出来;一个能画出场景的模型,在某种意义上也必然看懂了它。这个“工会”要求一套权重,既能回答关于图像的问题,又能在同一口气里生成图像。
它位于图表最顶端、明显偏世界一侧。单体立场是它的核心承诺:一个模型,而不是一个 captioner 胶水粘上一个扩散生成器。横向偏右,体现了它以感知(像素进、像素出)为本体,语言(指令、回答)则是接口。它的范式等级是主流:统一模型已是标准的前沿方向,不过社区仍在争论怎样让它同时把两件事都做好。
论据
- 用同一目标预测文本和视觉 token 的统一自回归模型,已在理解和生成两边都取得了有竞争力的结果。
- 共享训练让生成可以借用为理解而学到的世界知识和指令遵循能力。
- 单一模型能完成紧密耦合的任务,比如先对图像内容做一段推理,再据此编辑图像。
批评
- 理解偏好抽象的语义特征,生成却需要精细的像素细节;有时不得不用解耦的视觉编码器来调和两者。
- 统一模型往往仍落后于最强的专用生成器或最强的专用理解模型。
- 模块化派认为,把一个强视觉语言模型和一个强扩散模型组合起来,更便宜也更容易迭代。
代表作
- Emu3: Next-Token Prediction is All You Need2024
- Janus: Decoupling Visual Encoding for Unified Multimodal Understanding and Generation2024
- Show-o: One Single Transformer to Unify Multimodal Understanding and Generation2024
关系
亦敌亦友
怎样测出它
在完整版或专业版里落到这一格:x ≈ +0.69,y ≈ +0.92,范式 ≈ −0.46。