来自 AI 研究立场图谱百科
语言多模态主义:目标是一个能理解和生成所有模态的全多模态模型,用语言建模的那套方法作为引擎。
主张
语言多模态主义把邻居的优先级反过来了:多模态是目的,语言是手段。终点是一个读写图像、音频、视频都像读写文字一样流利的模型;载体是已经被证明管用的那套机器,以语言模型为 backbone 的自回归序列建模,扩展到让每种模态都变成同一条序列里的 token。语言不是思考必须发生的地方,而是一套成熟的训练配方,可以把所有模态一起带上车。
它位于 Language 与 World 的中线上,纵向靠近顶部的 Monolith 一端:一个模型,多种模态。范式上属于正统。它借用了语言模型时代的自信,却把这份自信花在非文字的输出上,目标是一个用同一套权重画图、说话、写 caption 的 any-to-any 系统。
论据
- 像语言模型一样训练的早融合、混合模态 token 模型,可以在一条序列里交错生成文字和图像。
- 复用 LM 训练栈,意味着多模态生成直接继承了成熟的工具链、scaling 行为和 in-context learning。
- 按指令改图、用一张示意图来回答这类任务,需要多模态输出,纯语言推理给不了。
批评
- 多模态语言主义反驳说,大部分价值仍在推理上,而推理反正发生在语言里,生成是昂贵的附加项。
- 扩散派和视觉原生派认为,离散 token 生成的图像和音频质量不如连续生成模型。
- 当一个序列模型要同时服务所有模态时,训练稳定性和模态不平衡会变成严重问题。
代表作
关系
怎样测出它
在完整版或专业版里落到这一格:x ≈ −0.01,y ≈ +0.85,范式 ≈ −0.81。