来自 AI 研究立场图谱百科
电脑操作自由主义:agent 应该像人一样通过屏幕、鼠标和键盘操作电脑,因为这套接口早已通向所有应用。
主张
电脑操作自由主义的出发点很朴素:几乎所有数字工作都已经通过为人设计的图形界面暴露出来了,而有干净 API 的只占一小部分。与其等每个厂商都发布工具,不如让 agent 直接看屏幕、挪鼠标、点击、打字。鼠标键盘成了万能适配器,那些长尾的老旧软件、内部后台和各种表单,一夜之间都够得着了。
它在图上略偏语言一侧,因为 agent 虽然要感知像素、在环境里行动,推理却仍主要靠语言;又处在上半区、偏向 Monolith,因为 computer use 本质上是”截图—决策—动作”的循环,而这个循环越来越由一个模型独自跑完。它的”自由主义”是对集成问题的放任态度:不需要谁授权,也不需要 API。范式等级为革命。
论据
- OSWorld、WebArena 等基于真实操作系统和逼真网页环境的 benchmark 显示,agent 不需要任何定制集成,就能在普通应用里完成多步任务。
- GUI 是每个应用都一定有的接口,覆盖面天然最大。
- 人类操作电脑的演示数据丰富且容易记录,提供了大量训练信号。
批评
- 像素级操作比调 API 慢得多也脆弱得多;按钮挪个位置、弹出个对话框,就可能让长任务前功尽弃。
- 在真实机器上以用户的全部权限行动,屏幕上出现的任何内容都可能带来安全和 prompt injection 风险。
- 协议派认为,在屏幕前模仿人类只是 API 缺失时的巧妙权宜之计,而不是终点。
代表作
- OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments2024
- WebArena: A Realistic Web Environment for Building Autonomous Agents2023
关系
怎样测出它
在完整版或专业版里落到这一格:x ≈ −0.47,y ≈ −0.14,范式 ≈ +0.57。