扩散自回归融合主义

来自 AI 研究立场图谱百科

扩散自回归融合主义:自回归与扩散是互补的生成原理,应放进同一个模型,各自用在最合适的地方。

主张

扩散自回归融合主义拒绝在生成模型的大分裂中站队。自回归擅长离散、顺序、符号化的内容,比如文本;扩散擅长连续、高维的内容,比如图像和音频。与其把图像硬塞成离散 token,或者让文本去走去噪流程,融合派干脆造一个 Transformer:在 token 合理的地方预测下一个 token,在不合理的地方对连续 latent 去噪。

它位于图表最顶端、正中一列。单体立场体现在坚持一个共享网络,而不是让 LLM 把 prompt 递给一个独立的扩散模型。在语言与世界之间不偏不倚,是因为它保留语言建模,同时尊重连续的感知信号,拒绝把它们量化掉。它的范式等级为稳健:在同一骨干里混合两种目标,是对主流配方的延伸而非决裂,只是正确配比仍在探索中。

论据

  • 在同一个 Transformer 里对文本用 next-token loss、对图像 patch 用 diffusion loss 训练的模型,在两种模态上都扩展良好。
  • 给每个 token 配一个扩散头的自回归图像生成,绕开了向量量化及其信息损失。
  • 结合两种范式,既保留了语言模型在推理和指令遵循上的优势,又能达到扩散模型的视觉质量。

批评

  • 一个网络里两个目标,会让训练动态、loss 配平和推理调度都变得更复杂。
  • 混合模型同时继承了迭代去噪的推理成本和自回归的串行成本。
  • 两边的纯粹派都认为,只要把单一原理 scale 到位,这种混合终将变得多余。

代表作

关系

怎样测出它

在完整版或专业版里落到这一格:x ≈ +0.53,y ≈ +1.00,范式 ≈ −0.24。

这是初稿。欢迎通过 pull request 修正或补充更好的论据。 在 GitHub 上编辑这个词条 编辑它的数据