来自 AI 研究立场图谱百科
视觉智能体主义:智能体应该像人一样看屏幕、对着像素操作软件,而不是依赖 API 或 HTML。
主张
视觉智能体主义认为,屏幕是每个应用都已经具备的唯一通用接口。API 不完整,无障碍树不统一,HTML 常常一团乱,但渲染出来的像素永远在那里,而且就是用户看到的样子。所以智能体应该看截图、找到相关元素、点击、输入或滚动,然后再看一眼。让智能体变得通用的,是对界面的感知,而不是对其内部结构的解析。
它位于中间略偏左,纵轴略偏上。它把屏幕当成一个需要感知的视觉世界,所以即使任务是数字的,它也被拉向中间;它虽然生活在带记忆、规划和验证的智能体循环里,依赖的却是一个强大的视觉语言模型。颜色是中立,反映出它建立在当今的视觉语言模型之上,而这些模型直到最近才强到能读懂界面、让这条路走得通,而在长程、跨应用的任务上,还有大量问题没解决。
论据
- 像素级操作能触达任何应用,包括没有 API 或结构化表示的遗留软件和画布类界面。
- 视觉提示技巧,比如在截图上给候选元素打标记,能显著提高动作对准正确目标的接地能力。
- 在真实操作系统环境里的 benchmark,为“智能体能否完成实际任务”提供了具体的端到端度量。
批评
- 和直接调用 API 相比,基于截图的智能体每一步都更慢、更贵,长任务里误差还会累积。
- 细小的视觉变化、弹窗和高分辨率布局都可能破坏接地,而结构化接口没有这些问题。
- API 联邦派认为,有干净接口的地方还要绕道像素,是不必要的脆弱。
代表作
- Set-of-Mark Prompting Unleashes Extraordinary Visual Grounding in GPT-4V2023
- CogAgent: A Visual Language Model for GUI Agents2023
- OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments2024
关系
怎样测出它
在完整版或专业版里落到这一格:x ≈ +0.19,y ≈ −0.32,范式 ≈ +0.11。