来自 AI 研究立场图谱百科
界面接地主义:GUI agent 的瓶颈在感知而不在规划;agent 首先得能稳定地在屏幕上找到正确的元素。
主张
界面接地主义是 computer use 圈子里的冷静专科医生。它注意到,agent 往往很清楚该做什么(“点保存,然后关掉对话框”),却还是失败了:点偏了三十个像素、把两个相似的图标搞混、看不清密密麻麻的工具栏。它的纲领是把 grounding——把一条指令映射到屏幕上精确的位置或元素——当作一等问题来对待,有专门的数据、模型和 benchmark,先把这个解决了,再谈宏大的规划。
它在图上偏世界一侧,因为干的是对真实界面的视觉感知;纵向略低于中线、偏 harness 一侧,因为 grounding 通常是更大的 agent 循环里的一个模块:planner 决定做什么,grounder 负责在哪里。范式等级属于革命,它把显式的问题分解请了回来,对抗主流”一个端到端模型自己学会用电脑”的期待。
论据
- SeeClick 等专门的 GUI grounding 模型和数据集表明,提升元素定位能力会直接提高端到端的 agent 任务成功率。
- Set-of-Mark 这类在屏幕区域上叠加编号标记的方法,把开放式指点变成从编号里选,显著提高了多模态大模型的准确率。
- 高分辨率屏幕上的小字和小图标会暴露通用视觉编码器的短板,只有针对性训练才能补上。
批评
- 把”做什么”和”在哪里”拆开可能只是阶段性产物;更强的原生多模态模型也许不需要专门模块就能定位得很好。
- 无障碍树和 DOM 数据常常能免费给出元素的精确位置,有它们的地方,像素级 grounding 就没必要。
- grounding benchmark 可能只奖励在静态截图上点对框,却忽略了动态的多步交互。
代表作
- SeeClick: Harnessing GUI Grounding for Advanced Visual GUI Agents2024
- CogAgent: A Visual Language Model for GUI Agents2023
- Set-of-Mark Prompting Unleashes Extraordinary Visual Grounding in GPT-4V2023
关系
怎样测出它
在完整版或专业版里落到这一格:x ≈ +0.60,y ≈ −0.45,范式 ≈ +0.52。