视觉多模态主义

来自 AI 研究立场图谱百科

视觉多模态主义:以通用多模态智能为目标,但把视觉当作根基,把文字、文档和界面都当作"看"的对象。

主张

视觉多模态主义和语言优先的同行想去同一个地方:一个能处理所有模态的模型。但它选了另一条路,视觉是手段。能直接看网页,为什么要先 tokenize?渲染好的页面里已经有排版、图和文字,为什么还要解析 PDF?截图、图表、手写,甚至纯文本,都可以渲染成像素,一个足够强的视觉模型可以学会连同其他东西一起把它们读懂。语言变成了图像里出现的许多东西之一。

它位于 World 一侧较深处,纵向在最顶端的 Monolith 一端:一个以视觉为核心、向所有模态伸手的模型。范式上属于稳健,离主流只差一步。它挑战”文本是天然通用货币”的假设,但仍然和主流一样相信一个大而通用的模型。

论据

  • 在截图和渲染页面上预训练,一个视觉模型就能处理文档、图表、用户界面和自然图像,不需要单独的文本流水线。
  • 视觉 in-context learning,即模型用图像来补全图像 prompt,说明光靠视觉也能支撑任务泛化。
  • 像素没有 tokenizer 带来的怪问题,任何能显示出来的文字、版式和符号都能处理。

批评

  • 语言优先派指出,从像素里读文字的算力效率远低于直接读文本 token。
  • 抽象推理似乎仍然依赖语言;纯视觉模型在知识密集和多步推理任务上落后。
  • 它的镜像”多模态视觉主义”认为,视觉应该是目的,而不只是承载其他模态的工具。

代表作

关系

怎样测出它

在完整版或专业版里落到这一格:x ≈ +0.73,y ≈ +0.93,范式 ≈ −0.15。

这是初稿。欢迎通过 pull request 修正或补充更好的论据。 在 GitHub 上编辑这个词条 编辑它的数据