分层控制主义

来自 AI 研究立场图谱百科

分层控制主义:控制应该分层:慢速的高层规划器设定目标,快速的底层控制器负责执行。

主张

分层控制主义认为,没有哪个单一回路能既深思熟虑又反应迅速。高层在长时域和抽象目标上推理——“去厨房,打开冰箱”;中间层把它变成子目标或技能;底层以几百赫兹运行,让手臂保持稳定、双脚站稳。每一层在自己的时间尺度和抽象层次上工作,目标向下传,状态向上报,就像人们常说大脑皮层和小脑各司其职那样。

它位于 World 一侧,接近 Harness 一端:关心物理动作,并且是分层系统而不是一个扁平策略。超级革命色号说明,分层是机器人学的老原则,如今被重新拿来对抗扁平端到端的主流,也是学习领域的活跃话题——从 options 和 feudal 强化学习,到最近把视觉语言模型放在快速动作策略之上的系统。分层派预计,无论宣传怎么说,每个能干的机器人最后都会是分层的。

论据

  • 时间抽象缩短了有效规划时域,让长任务对学习和搜索变得可解。
  • 把快速反应控制和慢速深思分开,让每一层都按自己需要的频率运行,这在真实硬件上很重要。
  • 可复用的底层技能或 options 可以被高层策略重新组合,用于新任务而无需从头训练。

批评

  • 层级和接口怎么划分往往靠人工设计,分解得不好就会限制上限。
  • 接口处的错误——高层给出底层做不到的目标——是一个顽固的失败模式。
  • 端到端派认为,大规模训练的扁平策略会自己学出隐式层级,不需要强加结构。

代表作

关系

怎样测出它

在完整版或专业版里落到这一格:x ≈ +0.63,y ≈ −0.86,范式 ≈ +0.85。

这是初稿。欢迎通过 pull request 修正或补充更好的论据。 在 GitHub 上编辑这个词条 编辑它的数据