视觉智能体主义

来自 AI 研究立场图谱百科

视觉智能体主义:智能体应该像人一样看屏幕、对着像素操作软件,而不是依赖 API 或 HTML。

主张

视觉智能体主义认为,屏幕是每个应用都已经具备的唯一通用接口。API 不完整,无障碍树不统一,HTML 常常一团乱,但渲染出来的像素永远在那里,而且就是用户看到的样子。所以智能体应该看截图、找到相关元素、点击、输入或滚动,然后再看一眼。让智能体变得通用的,是对界面的感知,而不是对其内部结构的解析。

它位于中间略偏左,纵轴略偏上。它把屏幕当成一个需要感知的视觉世界,所以即使任务是数字的,它也被拉向中间;它虽然生活在带记忆、规划和验证的智能体循环里,依赖的却是一个强大的视觉语言模型。颜色是中立,反映出它建立在当今的视觉语言模型之上,而这些模型直到最近才强到能读懂界面、让这条路走得通,而在长程、跨应用的任务上,还有大量问题没解决。

论据

  • 像素级操作能触达任何应用,包括没有 API 或结构化表示的遗留软件和画布类界面。
  • 视觉提示技巧,比如在截图上给候选元素打标记,能显著提高动作对准正确目标的接地能力。
  • 在真实操作系统环境里的 benchmark,为“智能体能否完成实际任务”提供了具体的端到端度量。

批评

  • 和直接调用 API 相比,基于截图的智能体每一步都更慢、更贵,长任务里误差还会累积。
  • 细小的视觉变化、弹窗和高分辨率布局都可能破坏接地,而结构化接口没有这些问题。
  • API 联邦派认为,有干净接口的地方还要绕道像素,是不必要的脆弱。

代表作

关系

怎样测出它

在完整版或专业版里落到这一格:x ≈ +0.19,y ≈ −0.32,范式 ≈ +0.11。

这是初稿。欢迎通过 pull request 修正或补充更好的论据。 在 GitHub 上编辑这个词条 编辑它的数据