界面接地主义

来自 AI 研究立场图谱百科

界面接地主义:GUI agent 的瓶颈在感知而不在规划;agent 首先得能稳定地在屏幕上找到正确的元素。

主张

界面接地主义是 computer use 圈子里的冷静专科医生。它注意到,agent 往往很清楚该做什么(“点保存,然后关掉对话框”),却还是失败了:点偏了三十个像素、把两个相似的图标搞混、看不清密密麻麻的工具栏。它的纲领是把 grounding——把一条指令映射到屏幕上精确的位置或元素——当作一等问题来对待,有专门的数据、模型和 benchmark,先把这个解决了,再谈宏大的规划。

它在图上偏世界一侧,因为干的是对真实界面的视觉感知;纵向略低于中线、偏 harness 一侧,因为 grounding 通常是更大的 agent 循环里的一个模块:planner 决定做什么,grounder 负责在哪里。范式等级属于革命,它把显式的问题分解请了回来,对抗主流”一个端到端模型自己学会用电脑”的期待。

论据

  • SeeClick 等专门的 GUI grounding 模型和数据集表明,提升元素定位能力会直接提高端到端的 agent 任务成功率。
  • Set-of-Mark 这类在屏幕区域上叠加编号标记的方法,把开放式指点变成从编号里选,显著提高了多模态大模型的准确率。
  • 高分辨率屏幕上的小字和小图标会暴露通用视觉编码器的短板,只有针对性训练才能补上。

批评

  • 把”做什么”和”在哪里”拆开可能只是阶段性产物;更强的原生多模态模型也许不需要专门模块就能定位得很好。
  • 无障碍树和 DOM 数据常常能免费给出元素的精确位置,有它们的地方,像素级 grounding 就没必要。
  • grounding benchmark 可能只奖励在静态截图上点对框,却忽略了动态的多步交互。

代表作

关系

怎样测出它

在完整版或专业版里落到这一格:x ≈ +0.60,y ≈ −0.45,范式 ≈ +0.52。

这是初稿。欢迎通过 pull request 修正或补充更好的论据。 在 GitHub 上编辑这个词条 编辑它的数据