多模态智能体主义

来自 AI 研究立场图谱百科

多模态智能体主义:agent 应该能看、能听、能说、能做,由一个中心规划器调度各类专门的感知与生成工具。

主张

多模态智能体主义认为,真实世界从来不是以干净文本的形式到来的,只会处理文本的 agent 注定被困住。它想要的 agent 能读截图和照片、能听音频、能用语音回话、需要时能生成图像,还能在 app 和环境里动手。和全模态派不同,它不介意靠”委派”来实现:一个规划模型决定要做什么,再把视觉、语音、OCR、检测、生成等模块当作工具来调,把它们的输出缝成一个计划。

它位于语言-世界轴中线略偏左,体现了它在语言规划器统领下对各种模态的广泛胃口;又处在下半区、偏 harness,因为多模态能力来自协调组件,而不是把一切融进一张网络。范式等级是正统。

论据

  • HuggingGPT 这类系统让语言模型把任务分派给众多专门的视觉、音频模型,不用训练一个巨型模型就获得了广泛的多模态能力。
  • 委派让每个组件可以独立升级:换一个更好的语音识别或检测器,整个 agent 立刻跟着变强。
  • 操作手机、读文档、开会记录这类真实任务天然就是多模态的,agent benchmark 也越来越要求这一点。

批评

  • 模块之间靠文字描述传递信息会丢细节;原生多模态模型能看到 caption 里根本没提的东西。
  • 误差会沿着专家链条累积,每次交接都会增加延迟。
  • 全模态派认为,委派只是过渡架构,迟早会被原生模型吸收。

代表作

关系

怎样测出它

在完整版或专业版里落到这一格:x ≈ −0.35,y ≈ −0.78,范式 ≈ −0.76。

这是初稿。欢迎通过 pull request 修正或补充更好的论据。 在 GitHub 上编辑这个词条 编辑它的数据