来自 AI 研究立场图谱百科
VLA 君主制:一个建立在预训练视觉语言骨干之上的 VLA 模型,应当成为每台机器人至高无上的大脑。
主张
VLA 君主制相信,通往通用机器人的最快道路要经过互联网。拿一个已经知道“马克杯”“抽屉”和“收起来”是什么意思的视觉语言模型,再训练它把机器人动作当作另一种输出吐出来。于是就有了一位国王:一个模型看摄像头、听懂指令、驱动电机。规划器、感知模块、技能库,充其量只是朝臣。
它位于图表顶部附近、中间偏左。输出虽是物理动作,但它的合法性来自语言,这把它拉向语言一侧——骨干是语言训练出来的模型,指令也是用文字下达的。单体立场很强,因为重点就是一个端到端策略。它的范式等级是正统:把“预训练骨干加规模”的配方延伸到机器人身上,尽管它的 scaling 行为仍在测绘之中。
论据
- VLA 模型能把互联网规模的语义知识迁移给机器人,泛化到机器人数据里从没出现过的物体和指令。
- 跨任务的单一策略,让来自不同场景的机器人数据相互强化共享技能。
- 开源 VLA 和 flow matching 动作头的出现,让这条路线可以复现,并且能做相当灵巧的控制。
批评
- 语言骨干带来了语义知识,却几乎不懂力、接触和时序,而这些才是真实操作的主角。
- 大型 VLA 推理慢,没有额外机制的话很难做高频控制。
- 机器人数据依然稀缺,反对者怀疑一位国王能否统治它几乎没见过的硬件。
代表作
- RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control2023
- OpenVLA: An Open-Source Vision-Language-Action Model2024
- π0: A Vision-Language-Action Flow Model for General Robot Control2024
关系
亦敌亦友
怎样测出它
在完整版或专业版里落到这一格:x ≈ −0.26,y ≈ +0.92,范式 ≈ −0.67。