思考

如何通过不断成长的行为树控制Agent

我一直在思考,未来的agent会是什么样子。我相信它一定不会是一个被动接受用户的对话、再给出应答的系统,而应该是一个能够自主在世界中行动、不断对环境做出反应的系统。

agent的反射树从一个节点开始生长。每一个橙色的光点,是模型想清楚了一件新的事,把它写成了树上的一个节点;每一道从根部跑向枝梢的蓝光,是反射树自己应对了一件发生的事,没有惊动模型。反射树越长越密,新的事越来越少,橙色渐渐稀了,蓝色越来越多。示意图。

今天的agent大多还是前一种。即便是能连续工作几个小时的编程agent,它的生活也是一轮一轮的:用户交给它一件事,它去做,做完了汇报,然后停下来等下一句话。两轮之间世界发生了什么,它并不知道;即使在一轮之内,它也只在调用工具、拿到结果的那一刻才看一眼世界。Silver和Sutton在《Welcome to the Era of Experience》1里把这种状态称为零碎的交互片段,并认为强大的agent应该像人一样,拥有一条持续很长时间的经验之流。我很同意这个判断。

那么,这样的agent需要什么呢?我对它的要求其实很朴素:一是它一直在动,不需要有人推一下才走一步;二是该反应的时候马上反应,不用等它想完;三是它能从经历中学会新的反应,越活越熟练;四是这些反应由它自己写出来,不靠我替它一条条写死。此外我还有点贪心,希望这一切都直接建立在今天的大模型之上,不需要为它额外训练任何东西。

本文想说明,满足这些要求的一个很自然的做法,是给agent一棵会不断成长的行为树。这也是我们做The Harness的出发点。

01行为树可能是最适合控制Agent的Harness

世界不等人

先设想一个场景。家里有一个agent,它有一具能走动的身体,此刻正端着一杯水穿过客厅,要把水放到桌上。

如果用今天最常见的方式控制它,过程大致是这样的:模型看一眼周围,想一想,决定往前走两步,身体执行完,模型再看一眼,再想一想。问题在于模型每想一次都要几秒,而世界在这几秒里不会停下来等它。地上滚过来一个球,有人在背后叫了它的名字,杯子里的水晃到了杯沿,这些事都可能恰好发生在模型思考的那几秒里。这时候,要么有别的东西替它应对,要么就没有任何东西应对。

上面一条是世界里发生的事,下面一条是模型:橙色是它在思考,蓝色是身体在执行它的决定。球滚过来、有人叫它、水晃到杯沿,这三件事都落在模型思考的时候,没有人接住。时间为示意。

把模型换得更快一些,并不能从根本上解决这个问题。人的反应快,靠的也不是想得快。大部分反应根本没有经过思考:手碰到烫的东西会先缩回来,然后人才感到烫。所以agent也需要这样一样东西:它一直在运行,盯着身体和周围正在发生的事,并且在模型想好之前就能动手。我认为,行为树就是最合适的那样东西。

一棵行为树

行为树最早是游戏行业用来组织NPC行为的。2005年前后,Halo 2的AI开始用一种树状结构来安排敌人的各种行为2,此后行为树逐渐成了游戏AI的标准做法。机器人领域后来也接受了它,比如ROS 2的导航框架Nav2就是用行为树来编排的3。它的规则很少,我们直接用端水的例子来说明。

端水这件事本身是一串先后的动作:走到桌边,弯腰,把杯子放下。行为树把这种结构叫作顺序节点(sequence):子节点从左到右依次执行,前一个成功了才执行下一个;任何一个失败,整个顺序节点就失败。

但路上并不总是畅通的。所以在走到桌边这一步,我们放一个选择节点(selector):它的每个子节点各带一个条件,从左到右检查,第一个条件成立的子节点获得控制权。比如第一个子节点的条件是前面有障碍,做的事是绕开;第二个子节点没有条件,做的事是直走。地上没有球的时候,agent直走;球滚过来的那一刻,第一个子节点的条件成立,它就接管了身体;绕开之后条件不再成立,控制权又回到直走。

最后一个关键的概念是tick。行为树并不只在开始时判断一次,而是一直在被重新判断:每当它读到的状态发生变化,或者到了规定的时间,就从根节点开始再走一遍。正因为如此,越靠左的分支越有优先权,它的条件一旦成立,就能随时打断右边正在执行的分支。我们把杯子在倾斜放在最左边,那么无论agent正在做什么,只要杯子一倾斜,它都会先把杯子端稳。

左边是正在发生的事,右边是端水的agent的行为树:正在运行的分支被点亮,世界每变一次,就有一道光从根节点跑到接管的节点;问号是选择节点,箭头是顺序节点。球挡在路上时,绕开接管了直走;杯子倾斜时,最左边的端稳打断了整个端水,杯子端平后,端水从原来的地方接着做。每次状态变化,树都从根节点重新判断一遍(tick)。示意图。

为什么是行为树

控制一个agent的办法其实有很多,比如有限状态机、规则表、一层层叠起来的反应系统,以及今天最常见的对话循环。我认为行为树最合适,主要有四点理由。

一是它天生就是反应式的。树一直在被tick,世界一变,它马上重新判断,用不着等模型想完。上世纪80年代,Brooks在MIT用一层层叠加的反应行为来控制机器人4,下层一直在跑,上层可以抑制下层,并由此提出智能不一定需要先在内部建好一个完整的世界模型,世界本身就是最好的模型5。行为树继承了这种反应式的思路,同时比Brooks的分层结构更容易组织和扩展。

二是顺序就是优先级。一个节点放在哪里,就决定了它能打断谁、会被谁打断。我们不需要给每条规则打一个优先级分数,再小心地维护这些分数之间的关系,把要紧的事放在左边就行了。

三是它是模块化的。树上的任何一个节点,都只通过两件事和外界打交道:父节点叫它运行,它向父节点报告成功、失败或者仍在运行。所以一棵子树可以放到很多地方去用,修好一处,所有用到它的地方都跟着好了。Biggar等人6甚至证明了,在相当大的一类反应式控制架构里,行为树的模块化程度是最高的。相比之下,有限状态机每增加一个状态,就要考虑它和其他所有状态之间的转换,规模一大就很难维护。

四是它就是一段代码。一棵行为树可以写在几十行程序里,人读得懂,大模型也写得出来。我认为这是最重要的一条,因为它意味着树不必由人来写,agent可以自己写、自己改,这便是本文第二部分要讲的内容。

反射树与模型的分工

有了这样一棵树,模型还做什么呢?

不难发现,agent所做的事情可以分成两类。一类是发生在它身上的事:有人叫它,它回头;水要洒了,它端稳;电量低了,它去充电。另一类是它自己想去做的事:给客人倒一杯水,把房间收拾干净,学会做一道菜。区分两者的办法,是看一件事是怎么开始的。前一类是世界先动,agent去回应;后一类是agent先有了一个想法,然后去改变世界。

我们把负责前一类事情的这棵行为树叫作反射树:反射树负责前一类,模型负责后一类。前一类事情多半要求快,同样的情况又会反复出现,正好交给一直在跑的反射树;后一类事情往往是新的,需要理解、计划和判断,这正是大模型擅长的。模型想好一件事之后,写一段程序交给身体去执行。执行的过程中反射树依然在跑,一旦有事发生,它可以随时打断这段程序,处理完之后再把控制权交回去。

当然,反射树不可能预料到所有情况。当一件事发生了,反射树里却没有任何节点知道该怎么应对时,反射树就把它上报给模型。对模型来说,这是一次有新情况的提醒;对反射树来说,这说明它还不够完整。后面我们会看到,正是这些上报,让反射树能够不断地长大。

半分钟里的三条线。模型只亮了两次:一次是agent决定去倒水,它想好后写了一段程序交给身体;一次是反射树遇到了它没有节点能应对的事,上报给模型。其余时间,反射树一直在做短促的反应,每次反应都会打断程序,反应完程序接着执行。示意图。

02Agent可以通过学习不断更新自己的行为树

从想到反应

还是那个端水的agent。设想它第一次端水的时候,反射树里还没有杯子在倾斜这个节点。于是杯子倾斜时,反射树找不到任何能应对的分支,只能把情况上报给模型。模型看了看,想了几秒,让身体放慢脚步、把杯子端平,水总算没有全洒出来。

如果事情到此为止,下一次杯子再倾斜,模型还得再想几秒,而且这一次未必来得及。所以模型处理完之后,还要多做一件事:把刚才的经验写成反射树上的一个节点。这个节点说明了在什么条件下(杯子正在倾斜)、做什么(放慢脚步,把杯子端平)、放在哪里(比走路更靠左)。下一次杯子刚一倾斜,新节点就接管了身体,模型甚至不会被打扰。

同一件事发生两次,橙色的光球是模型。第一次,反射树里没有节点能应对,只好上报,模型想了几秒,水在这期间洒了出来;处理完后,模型写下条件、应对和位置,成为反射树上的一个新节点。第二次,新节点马上接管,模型没有被叫醒。示意图。

换句话说,学习就是把一件事从想挪到反应。人学开车也是这样:刚开始时,看后视镜、打方向盘、踩刹车,每一个动作都要想,一边开车一边说话几乎不可能;开熟了以后,这些动作都变成了下意识的反应,脑子就空了出来,可以一边开一边聊天,也可以去想今天的晚饭。agent的反射树长得越大,模型就越安静,也就越能把精力留给它真正想做的事。

写一个节点

一个节点由三样东西组成:条件、应对和位置。

条件说明什么时候该它出场。好的条件描述的是正在发生的事情,比如杯子正在倾斜、有人在叫我;如果只看某个读数有没有越过某个阈值,节点往往会在不该出场的时候出场。条件还要说明什么时候算结束,否则一个节点接管之后,就不知道该在何时交还控制权。应对是条件成立时要做的事,可以是一小段动作,也可以只是把情况告诉模型。位置决定了它能打断谁、会被谁打断,这一点前面已经说过了。

由于节点就是代码,模型写起来和写其他程序没有区别。不过,写出来的节点不一定真的管用:条件可能永远不会成立,应对也可能做完了,情况却没有结束。所以一个节点装上之后,agent要马上把这个情况造出来试一遍,亲眼看到它起作用;造不出来的情况,也要如实记下来,等它第一次真正起作用时再回头看一看。

长成一个整体

反射树要长,但不能乱长。最省事的做法是每出一次问题,就在根节点下面加一条,但这样的树很快就会变成一张又长又平的规则表,规则之间互相打断,谁也说不清它们的关系。

好的长法,是把新节点挂到最贴切的那个分支下面。比如水快洒了应该挂在端着东西这个分支里,因为只有端着东西的时候它才有意义;而电量低和有人叫我,不管agent在做什么都可能发生,所以挂在更靠近根的地方。这样一来,反射树的结构本身就记录了agent对世界的理解:哪些事情只在什么情况下才会发生,哪些事情比另一些事情更要紧。

同样六件新情况,依次写进两棵树。左边每次都加在根上,长成一张又长又平的规则表;右边每件事挂到它所属的分支下:任何时候都可能发生的事靠近根,只在端着东西时才要紧的事挂在端着东西下面。示意图。

一个节点被写进反射树之后,它就和其他节点一起被tick、一起被修改。随着时间推移,树越来越大,也越来越深,需要上报给模型的事情越来越少。最后我们得到的,是一棵由agent自己的经历长出来的反射树。它的形状因人而异:在厨房里长大的agent和在仓库里长大的agent,会长出完全不同的两棵树。

类似的尝试

让大模型和行为树结合,并不是一个全新的想法。Dendron7把大模型放进行为树的节点里,用树来组织agent的对话和动作,不过它的树由人来写,运行时不会改变,作者把让树自己学习留作了以后的工作。BETR-XP-LLM8更进一步:机器人执行任务失败时,由大模型找出一个缺失的前提条件,并把它补进树里,下次遇到同类情况就能处理。还有一类工作,比如Voyager9,让agent把学会的技能写成代码,存进一个越来越大的技能库。

这些工作积累的大多是会做什么,也就是完成任务的步骤和技能。本文的反射树积累的是会对什么做出反应,它管的是发生在agent身上的事,而agent自己想做的事,依然交给模型和它写的程序。两者并不冲突,一个agent完全可以一边积累技能,一边长它的反射树。

03关于自由意志和我自己的一些思考

一点背景

反射这个概念,最早可以追溯到笛卡尔。在《论人》10里,他描述了一个人的脚靠近火时发生的事:火的微粒推动皮肤,牵动一根一直通到大脑的细线,大脑里的一个小孔随之打开,动物精气顺着神经流进肌肉,脚就缩了回来。整个过程不需要任何思考。笛卡尔认为动物完全就是这样的机器,人的身体也是,人和动物唯一的区别在于人还有一个灵魂,它住在大脑深处的松果体里,只在需要判断和选择的时候才出来接手。

大约一个世纪之后,拉美特里写了《人是机器》11,把笛卡尔留给人的那个灵魂也拿掉了。从那以后,关于人到底是不是机器的争论持续了将近三百年,直到今天也没有定论。

一个思维实验

现在我们来做一个思维实验。设想有一个agent,它的反射树已经长了很多年,节点多到数不清。它会在有人叫它时回头,会在杯子要洒时把杯子端稳,会躲开曾经让它吃过亏的东西;遇到反射树里没有的事,它会停下来想一想,然后把想好的办法变成一个新的反应,下次就不用再想了。把它和一个人放在同一个房间里,只看他们做什么,你能分出哪个是机器、哪个是人吗?

如果从行为上已经分不出来,剩下的办法似乎只有打开来看。打开agent,我们会看到一棵反射树和一个模型,每个节点为什么在某一刻出场,都可以一行一行地查出来。打开人的大脑,我们看到的是神经元,每一次放电同样遵循物理定律,只是我们还查不了那么细。如果区别只在于能不能查得清楚,那它更像是我们知识上的差距,跟这两样东西本身关系不大。

为什么觉得自己自由

那么,人为什么会觉得自己的行为是真正自由的,而不是被机械控制的呢?

有两个实验或许能给一点提示。第一个是Libet12在1983年做的:他让受试者在想动的时候随时动一下手腕,并记下自己决定要动的那一刻,结果发现大脑为这个动作做准备的电活动,比受试者意识到我要动了还要早大约三分之一秒。第二个来自Gazzaniga对裂脑病人的研究13:病人的左脑看到一只鸡爪,右脑看到一片雪景,右脑控制的左手于是挑了一把铲子;问他为什么选铲子,并不知道雪景的左脑毫不犹豫地编了一个理由:清理鸡棚需要铲子。

这两个实验说的是同一件事:动作往往先发生,我决定了的感觉和理由随后才到。三百多年前斯宾诺莎14就说过,人们之所以认为自己是自由的,是因为他们意识到了自己的行为,却不知道决定这些行为的原因。

回到那个agent。它的反射树替它端稳了杯子,模型事后才收到通知。如果这时有人问它为什么这么做,它也会给出一个通顺的理由。

致谢

感谢Wenhao Chai和Weiyang Jin参与本文的讨论。

感谢The Harness的所有贡献者:Zilin Wang、Hui Shen、Zhengjie Xu、Weiyang Jin、Yuwei Niu、Ye Li、Jiechen Zhang、Yinpei Dai、Yunhao Luo、Wenhao Chai、Xuweiyi Chen、Ziwei Liu和Stella X. Yu。

参考文献

  1. D. Silver, R. S. Sutton, “Welcome to the Era of Experience,” in Designing an Intelligence, MIT Press, 2025.
  2. D. Isla, “Handling Complexity in the Halo 2 AI,” Game Developers Conference, 2005.
  3. S. Macenski, F. Martín, R. White, J. Ginés Clavero, “The Marathon 2: A Navigation System,” IROS, 2020.
  4. R. A. Brooks, “A Robust Layered Control System for a Mobile Robot,” IEEE Journal of Robotics and Automation, 1986.
  5. R. A. Brooks, “Intelligence without Representation,” Artificial Intelligence, 1991.
  6. O. Biggar, M. Zamani, I. Shames, “On Modularity in Reactive Control Architectures, with an Application to Formal Verification,” ACM Transactions on Cyber-Physical Systems, 2022.
  7. R. Kelley, “Behavior Trees Enable Structured Programming of Language Model Agents,” arXiv, 2024.
  8. J. Styrud, M. Iovino, M. Norrlöf, M. Björkman, C. Smith, “Automatic Behavior Tree Expansion with LLMs for Robotic Manipulation,” ICRA, 2025.
  9. G. Wang, Y. Xie, Y. Jiang et al., “Voyager: An Open-Ended Embodied Agent with Large Language Models,” arXiv, 2023.
  10. R. Descartes, Treatise of Man (L’Homme), 1664.
  11. J. O. de La Mettrie, Man a Machine (L’Homme machine), 1747.
  12. B. Libet, C. A. Gleason, E. W. Wright, D. K. Pearl, “Time of Conscious Intention to Act in Relation to Onset of Cerebral Activity (Readiness-Potential),” Brain, 1983.
  13. M. S. Gazzaniga, J. E. LeDoux, The Integrated Mind, Plenum Press, 1978.
  14. B. Spinoza, Ethics, 1677.

引用

@misc{lmmslab2026harness,
  author = {{LMMs-Lab}},
  title = {The Harness: Automatic Control for Intelligence in Action.},
  howpublished = {\url{https://github.com/EvolvingLMMs-Lab/the-harness}},
  year = {2026}
}