基于模型规划主义

来自 AI 研究立场图谱百科

基于模型规划主义:智能体应该学一个环境模型,在里面做规划——先在想象里试动作,再真正去做。

主张

基于模型规划主义认为,聪明的行动方式是先想后做。从经验中学一个动力学模型,然后用它推演候选的未来、打分、选择:可以是树搜索、轨迹优化,也可以是在想象出来的经验上训练策略。在想象里犯的每个错,就是在现实里少犯的一个错。所以规划派认为无模型的试错很浪费,尤其是在真实交互又慢、又贵、又危险的地方。

它位于 World 一侧,纵轴略高于中线。它关心有动力学的物理和游戏环境,把学到的模型和规划过程结合起来——是两段式系统,而不是一个条件反射网络,也不是庞大的智能体 harness。颜色是超级革命:在学到的隐空间里做规划仍是活跃前沿,规划派期待这会是机器人和智能体最终泛化到没直接练过的场景的方法。

论据

  • 在很多设定下,学习模型的智能体在棋类和 Atari 上追平甚至超过强大的无模型智能体,同时环境交互次数少得多。
  • 想象推演让智能体能评估罕见或危险的情形而无需亲身经历,这对机器人很关键。
  • 独立的动力学模型可以跨任务复用:换个奖励重新规划即可,不用从头学策略。

批评

  • 模型误差会在长时域上累积,而规划器恰恰擅长钻模型出错的地方。
  • 决策时规划计算量大,很难塞进高频控制回路。
  • 大规模无模型或模仿学习的策略往往已经够好,额外的机制很难说值得。

代表作

关系

怎样测出它

在完整版或专业版里落到这一格:x ≈ +0.78,y ≈ −0.13,范式 ≈ +0.77。

这是初稿。欢迎通过 pull request 修正或补充更好的论据。 在 GitHub 上编辑这个词条 编辑它的数据