来自 AI 研究立场图谱百科
描述集权主义:每张图都应先转成详细描述,因为语言是感知与推理之间的通用接口。
主张
描述集权主义用“翻译”来解决多模态。凡是从眼睛进来的东西,立刻被写成文字:一段稠密的 caption、一张物体清单、一份场景描述。从那一刻起,语言模型接管一切,用它的母语推理。这套教义反过来也成立:用改写过的丰富 caption 训练文生图模型,它的 prompt 遵循能力会好得多。caption 是所有感知必须经过的官僚体系,而好的官僚体系能让一切运转顺畅。
它位于图表最左侧的 Language 边缘,纵向略高于中线。语言倾向一目了然:文本是通用语,推理也发生在文本里。轻微的单体倾向来自它的野心——把感知收编进一个以语言为中心的模型和数据管线。它的范式等级是正统,因为 recaption 和基于描述的推理,如今已是常规工程,而不是激进押注。
论据
- 通过 caption 把视觉模型和语言模型组合起来,无需任何联合训练就能做 zero-shot 多模态推理。
- 用详细的合成 caption 训练文生图模型,能显著提升 prompt 遵循能力。
- caption 可读、可改,让多模态系统更容易调试和审计。
批评
- caption 是一个有损瓶颈:空间关系、细腻纹理、数量信息经常被丢掉。
- 描述阶段的错误会悄无声息地传进下游每一步推理。
- 原生融合派和视觉优先派认为,强迫感知通过文字,就把系统上限锁死在了语言能描述的范围内。
代表作
- Socratic Models: Composing Zero-Shot Multimodal Reasoning with Language2022
- Improving Image Generation with Better Captions2023
关系
怎样测出它
在完整版或专业版里落到这一格:x ≈ −0.87,y ≈ −0.29,范式 ≈ −0.65。