来自 AI 研究立场图谱百科
视觉多模态主义:以通用多模态智能为目标,但把视觉当作根基,把文字、文档和界面都当作"看"的对象。
主张
视觉多模态主义和语言优先的同行想去同一个地方:一个能处理所有模态的模型。但它选了另一条路,视觉是手段。能直接看网页,为什么要先 tokenize?渲染好的页面里已经有排版、图和文字,为什么还要解析 PDF?截图、图表、手写,甚至纯文本,都可以渲染成像素,一个足够强的视觉模型可以学会连同其他东西一起把它们读懂。语言变成了图像里出现的许多东西之一。
它位于 World 一侧较深处,纵向在最顶端的 Monolith 一端:一个以视觉为核心、向所有模态伸手的模型。范式上属于稳健,离主流只差一步。它挑战”文本是天然通用货币”的假设,但仍然和主流一样相信一个大而通用的模型。
论据
- 在截图和渲染页面上预训练,一个视觉模型就能处理文档、图表、用户界面和自然图像,不需要单独的文本流水线。
- 视觉 in-context learning,即模型用图像来补全图像 prompt,说明光靠视觉也能支撑任务泛化。
- 像素没有 tokenizer 带来的怪问题,任何能显示出来的文字、版式和符号都能处理。
批评
- 语言优先派指出,从像素里读文字的算力效率远低于直接读文本 token。
- 抽象推理似乎仍然依赖语言;纯视觉模型在知识密集和多步推理任务上落后。
- 它的镜像”多模态视觉主义”认为,视觉应该是目的,而不只是承载其他模态的工具。
代表作
- Pix2Struct: Screenshot Parsing as Pretraining for Visual Language Understanding2022
- Images Speak in Images: A Generalist Painter for In-Context Visual Learning2022
关系
怎样测出它
在完整版或专业版里落到这一格:x ≈ +0.73,y ≈ +0.93,范式 ≈ −0.15。