仿真到现实实用主义

来自 AI 研究立场图谱百科

仿真到现实实用主义:在仿真中大规模训练机器人策略,再通过随机化和细致的工程手段迁移到真实硬件上。

主张

仿真到现实实用主义算过机器人时间这笔账。真机采集经验的速度是一秒一秒地来,会弄坏东西,还得有人看着;GPU 并行仿真器能同时跑成千上万台机器人,比实时还快,什么都不会坏。所以先在仿真里训练,再用一切管用的手段缩小 reality gap:对纹理、质量、摩擦做 domain randomization,做系统辨识,仔细建模执行器,最后在真机上稍微 fine-tune 一下。不需要宏大理论,只要 policy 离开仿真器后能走、能抓、能站稳。

它位于中间偏右的 World 一侧,纵向处在下半部、靠向 Harness:policy 本身也许是一个网络,但它活在一条由仿真器、随机化器和部署工具组成的工程流水线里。范式等级中立。sim-to-real 是一套成熟且广泛使用的方法论,在足式运动上尤其如此;它的实践者更关心机器人能不能干活,而不是功劳记在哪个主义头上。

论据

  • domain randomization 让纯仿真训练的 policy 能迁移到真机上,因为真实世界在它眼里不过是又一种随机变体。
  • 大规模并行仿真只需几分钟的墙钟时间就能训出足式运动 policy,这些 policy 已经在真实的四足和人形机器人上跑起来了。
  • 仿真允许安全地探索失败,这对在昂贵硬件上做强化学习至关重要。

批评

  • 富接触操作、可变形物体和流体依然很难被忠实地仿真,偏偏在最难的任务上 gap 依旧存在。
  • 真实数据派认为,仿真中的多样性仍是工程师编出来的,覆盖不到真实世界真正的长尾。
  • 构建高质量仿真资产和 reward 函数非常费力,整条流水线往往还是任务专用的。

代表作

关系

怎样测出它

在完整版或专业版里落到这一格:x ≈ +0.52,y ≈ −0.67,范式 ≈ −0.04。

这是初稿。欢迎通过 pull request 修正或补充更好的论据。 在 GitHub 上编辑这个词条 编辑它的数据