今天的agent大多还是前一种。即便是能连续工作几个小时的编程agent,它的生活也是一轮一轮的:用户交给它一件事,它去做,做完了汇报,然后停下来等下一句话。两轮之间世界发生了什么,它并不知道;即使在一轮之内,它也只在调用工具、拿到结果的那一刻才看一眼世界。Silver和Sutton在《Welcome to the Era of Experience》1里把这种状态称为零碎的交互片段,并认为强大的agent应该像人一样,拥有一条持续很长时间的经验之流。我很同意这个判断。
那么,这样的agent需要什么呢?我对它的要求其实很朴素:一是它一直在动,不需要有人推一下才走一步;二是该反应的时候马上反应,不用等它想完;三是它能从经历中学会新的反应,越活越熟练;四是这些反应由它自己写出来,不靠我替它一条条写死。此外我还有点贪心,希望这一切都直接建立在今天的大模型之上,不需要为它额外训练任何东西。
本文想说明,满足这些要求的一个很自然的做法,是给agent一棵会不断成长的行为树。这也是我们做The Harness的出发点。
01行为树可能是最适合控制Agent的Harness
世界不等人
先设想一个场景。家里有一个agent,它有一具能走动的身体,此刻正端着一杯水穿过客厅,要把水放到桌上。
如果用今天最常见的方式控制它,过程大致是这样的:模型看一眼周围,想一想,决定往前走两步,身体执行完,模型再看一眼,再想一想。问题在于模型每想一次都要几秒,而世界在这几秒里不会停下来等它。地上滚过来一个球,有人在背后叫了它的名字,杯子里的水晃到了杯沿,这些事都可能恰好发生在模型思考的那几秒里。这时候,要么有别的东西替它应对,要么就没有任何东西应对。
把模型换得更快一些,并不能从根本上解决这个问题。人的反应快,靠的也不是想得快。大部分反应根本没有经过思考:手碰到烫的东西会先缩回来,然后人才感到烫。所以agent也需要这样一样东西:它一直在运行,盯着身体和周围正在发生的事,并且在模型想好之前就能动手。我认为,行为树就是最合适的那样东西。
一棵行为树
行为树最早是游戏行业用来组织NPC行为的。2005年前后,Halo 2的AI开始用一种树状结构来安排敌人的各种行为2,此后行为树逐渐成了游戏AI的标准做法。机器人领域后来也接受了它,比如ROS 2的导航框架Nav2就是用行为树来编排的3。它的规则很少,我们直接用端水的例子来说明。
端水这件事本身是一串先后的动作:走到桌边,弯腰,把杯子放下。行为树把这种结构叫作顺序节点(sequence):子节点从左到右依次执行,前一个成功了才执行下一个;任何一个失败,整个顺序节点就失败。
但路上并不总是畅通的。所以在走到桌边这一步,我们放一个选择节点(selector):它的每个子节点各带一个条件,从左到右检查,第一个条件成立的子节点获得控制权。比如第一个子节点的条件是前面有障碍,做的事是绕开;第二个子节点没有条件,做的事是直走。地上没有球的时候,agent直走;球滚过来的那一刻,第一个子节点的条件成立,它就接管了身体;绕开之后条件不再成立,控制权又回到直走。
最后一个关键的概念是tick。行为树并不只在开始时判断一次,而是一直在被重新判断:每当它读到的状态发生变化,或者到了规定的时间,就从根节点开始再走一遍。正因为如此,越靠左的分支越有优先权,它的条件一旦成立,就能随时打断右边正在执行的分支。我们把杯子在倾斜放在最左边,那么无论agent正在做什么,只要杯子一倾斜,它都会先把杯子端稳。
为什么是行为树
控制一个agent的办法其实有很多,比如有限状态机、规则表、一层层叠起来的反应系统,以及今天最常见的对话循环。我认为行为树最合适,主要有四点理由。
一是它天生就是反应式的。树一直在被tick,世界一变,它马上重新判断,用不着等模型想完。上世纪80年代,Brooks在MIT用一层层叠加的反应行为来控制机器人4,下层一直在跑,上层可以抑制下层,并由此提出智能不一定需要先在内部建好一个完整的世界模型,世界本身就是最好的模型5。行为树继承了这种反应式的思路,同时比Brooks的分层结构更容易组织和扩展。
二是顺序就是优先级。一个节点放在哪里,就决定了它能打断谁、会被谁打断。我们不需要给每条规则打一个优先级分数,再小心地维护这些分数之间的关系,把要紧的事放在左边就行了。
三是它是模块化的。树上的任何一个节点,都只通过两件事和外界打交道:父节点叫它运行,它向父节点报告成功、失败或者仍在运行。所以一棵子树可以放到很多地方去用,修好一处,所有用到它的地方都跟着好了。Biggar等人6甚至证明了,在相当大的一类反应式控制架构里,行为树的模块化程度是最高的。相比之下,有限状态机每增加一个状态,就要考虑它和其他所有状态之间的转换,规模一大就很难维护。
四是它就是一段代码。一棵行为树可以写在几十行程序里,人读得懂,大模型也写得出来。我认为这是最重要的一条,因为它意味着树不必由人来写,agent可以自己写、自己改,这便是本文第二部分要讲的内容。
反射树与模型的分工
有了这样一棵树,模型还做什么呢?
不难发现,agent所做的事情可以分成两类。一类是发生在它身上的事:有人叫它,它回头;水要洒了,它端稳;电量低了,它去充电。另一类是它自己想去做的事:给客人倒一杯水,把房间收拾干净,学会做一道菜。区分两者的办法,是看一件事是怎么开始的。前一类是世界先动,agent去回应;后一类是agent先有了一个想法,然后去改变世界。
我们把负责前一类事情的这棵行为树叫作反射树:反射树负责前一类,模型负责后一类。前一类事情多半要求快,同样的情况又会反复出现,正好交给一直在跑的反射树;后一类事情往往是新的,需要理解、计划和判断,这正是大模型擅长的。模型想好一件事之后,写一段程序交给身体去执行。执行的过程中反射树依然在跑,一旦有事发生,它可以随时打断这段程序,处理完之后再把控制权交回去。
当然,反射树不可能预料到所有情况。当一件事发生了,反射树里却没有任何节点知道该怎么应对时,反射树就把它上报给模型。对模型来说,这是一次有新情况的提醒;对反射树来说,这说明它还不够完整。后面我们会看到,正是这些上报,让反射树能够不断地长大。
02Agent可以通过学习不断更新自己的行为树
从想到反应
还是那个端水的agent。设想它第一次端水的时候,反射树里还没有杯子在倾斜这个节点。于是杯子倾斜时,反射树找不到任何能应对的分支,只能把情况上报给模型。模型看了看,想了几秒,让身体放慢脚步、把杯子端平,水总算没有全洒出来。
如果事情到此为止,下一次杯子再倾斜,模型还得再想几秒,而且这一次未必来得及。所以模型处理完之后,还要多做一件事:把刚才的经验写成反射树上的一个节点。这个节点说明了在什么条件下(杯子正在倾斜)、做什么(放慢脚步,把杯子端平)、放在哪里(比走路更靠左)。下一次杯子刚一倾斜,新节点就接管了身体,模型甚至不会被打扰。
换句话说,学习就是把一件事从想挪到反应。人学开车也是这样:刚开始时,看后视镜、打方向盘、踩刹车,每一个动作都要想,一边开车一边说话几乎不可能;开熟了以后,这些动作都变成了下意识的反应,脑子就空了出来,可以一边开一边聊天,也可以去想今天的晚饭。agent的反射树长得越大,模型就越安静,也就越能把精力留给它真正想做的事。
写一个节点
一个节点由三样东西组成:条件、应对和位置。
条件说明什么时候该它出场。好的条件描述的是正在发生的事情,比如杯子正在倾斜、有人在叫我;如果只看某个读数有没有越过某个阈值,节点往往会在不该出场的时候出场。条件还要说明什么时候算结束,否则一个节点接管之后,就不知道该在何时交还控制权。应对是条件成立时要做的事,可以是一小段动作,也可以只是把情况告诉模型。位置决定了它能打断谁、会被谁打断,这一点前面已经说过了。
由于节点就是代码,模型写起来和写其他程序没有区别。不过,写出来的节点不一定真的管用:条件可能永远不会成立,应对也可能做完了,情况却没有结束。所以一个节点装上之后,agent要马上把这个情况造出来试一遍,亲眼看到它起作用;造不出来的情况,也要如实记下来,等它第一次真正起作用时再回头看一看。
长成一个整体
反射树要长,但不能乱长。最省事的做法是每出一次问题,就在根节点下面加一条,但这样的树很快就会变成一张又长又平的规则表,规则之间互相打断,谁也说不清它们的关系。
好的长法,是把新节点挂到最贴切的那个分支下面。比如水快洒了应该挂在端着东西这个分支里,因为只有端着东西的时候它才有意义;而电量低和有人叫我,不管agent在做什么都可能发生,所以挂在更靠近根的地方。这样一来,反射树的结构本身就记录了agent对世界的理解:哪些事情只在什么情况下才会发生,哪些事情比另一些事情更要紧。
一个节点被写进反射树之后,它就和其他节点一起被tick、一起被修改。随着时间推移,树越来越大,也越来越深,需要上报给模型的事情越来越少。最后我们得到的,是一棵由agent自己的经历长出来的反射树。它的形状因人而异:在厨房里长大的agent和在仓库里长大的agent,会长出完全不同的两棵树。
类似的尝试
让大模型和行为树结合,并不是一个全新的想法。Dendron7把大模型放进行为树的节点里,用树来组织agent的对话和动作,不过它的树由人来写,运行时不会改变,作者把让树自己学习留作了以后的工作。BETR-XP-LLM8更进一步:机器人执行任务失败时,由大模型找出一个缺失的前提条件,并把它补进树里,下次遇到同类情况就能处理。还有一类工作,比如Voyager9,让agent把学会的技能写成代码,存进一个越来越大的技能库。
这些工作积累的大多是会做什么,也就是完成任务的步骤和技能。本文的反射树积累的是会对什么做出反应,它管的是发生在agent身上的事,而agent自己想做的事,依然交给模型和它写的程序。两者并不冲突,一个agent完全可以一边积累技能,一边长它的反射树。
03关于自由意志和我自己的一些思考
一点背景
反射这个概念,最早可以追溯到笛卡尔。在《论人》10里,他描述了一个人的脚靠近火时发生的事:火的微粒推动皮肤,牵动一根一直通到大脑的细线,大脑里的一个小孔随之打开,动物精气顺着神经流进肌肉,脚就缩了回来。整个过程不需要任何思考。笛卡尔认为动物完全就是这样的机器,人的身体也是,人和动物唯一的区别在于人还有一个灵魂,它住在大脑深处的松果体里,只在需要判断和选择的时候才出来接手。
大约一个世纪之后,拉美特里写了《人是机器》11,把笛卡尔留给人的那个灵魂也拿掉了。从那以后,关于人到底是不是机器的争论持续了将近三百年,直到今天也没有定论。
一个思维实验
现在我们来做一个思维实验。设想有一个agent,它的反射树已经长了很多年,节点多到数不清。它会在有人叫它时回头,会在杯子要洒时把杯子端稳,会躲开曾经让它吃过亏的东西;遇到反射树里没有的事,它会停下来想一想,然后把想好的办法变成一个新的反应,下次就不用再想了。把它和一个人放在同一个房间里,只看他们做什么,你能分出哪个是机器、哪个是人吗?
如果从行为上已经分不出来,剩下的办法似乎只有打开来看。打开agent,我们会看到一棵反射树和一个模型,每个节点为什么在某一刻出场,都可以一行一行地查出来。打开人的大脑,我们看到的是神经元,每一次放电同样遵循物理定律,只是我们还查不了那么细。如果区别只在于能不能查得清楚,那它更像是我们知识上的差距,跟这两样东西本身关系不大。
为什么觉得自己自由
那么,人为什么会觉得自己的行为是真正自由的,而不是被机械控制的呢?
有两个实验或许能给一点提示。第一个是Libet12在1983年做的:他让受试者在想动的时候随时动一下手腕,并记下自己决定要动的那一刻,结果发现大脑为这个动作做准备的电活动,比受试者意识到我要动了还要早大约三分之一秒。第二个来自Gazzaniga对裂脑病人的研究13:病人的左脑看到一只鸡爪,右脑看到一片雪景,右脑控制的左手于是挑了一把铲子;问他为什么选铲子,并不知道雪景的左脑毫不犹豫地编了一个理由:清理鸡棚需要铲子。
这两个实验说的是同一件事:动作往往先发生,我决定了的感觉和理由随后才到。三百多年前斯宾诺莎14就说过,人们之所以认为自己是自由的,是因为他们意识到了自己的行为,却不知道决定这些行为的原因。
回到那个agent。它的反射树替它端稳了杯子,模型事后才收到通知。如果这时有人问它为什么这么做,它也会给出一个通顺的理由。
致谢
感谢Wenhao Chai和Weiyang Jin参与本文的讨论。
感谢The Harness的所有贡献者:Zilin Wang、Hui Shen、Zhengjie Xu、Weiyang Jin、Yuwei Niu、Ye Li、Jiechen Zhang、Yinpei Dai、Yunhao Luo、Wenhao Chai、Xuweiyi Chen、Ziwei Liu和Stella X. Yu。
参考文献
- D. Silver, R. S. Sutton, “Welcome to the Era of Experience,” in Designing an Intelligence, MIT Press, 2025.
- D. Isla, “Handling Complexity in the Halo 2 AI,” Game Developers Conference, 2005.
- S. Macenski, F. Martín, R. White, J. Ginés Clavero, “The Marathon 2: A Navigation System,” IROS, 2020.
- R. A. Brooks, “A Robust Layered Control System for a Mobile Robot,” IEEE Journal of Robotics and Automation, 1986.
- R. A. Brooks, “Intelligence without Representation,” Artificial Intelligence, 1991.
- O. Biggar, M. Zamani, I. Shames, “On Modularity in Reactive Control Architectures, with an Application to Formal Verification,” ACM Transactions on Cyber-Physical Systems, 2022.
- R. Kelley, “Behavior Trees Enable Structured Programming of Language Model Agents,” arXiv, 2024.
- J. Styrud, M. Iovino, M. Norrlöf, M. Björkman, C. Smith, “Automatic Behavior Tree Expansion with LLMs for Robotic Manipulation,” ICRA, 2025.
- G. Wang, Y. Xie, Y. Jiang et al., “Voyager: An Open-Ended Embodied Agent with Large Language Models,” arXiv, 2023.
- R. Descartes, Treatise of Man (L’Homme), 1664.
- J. O. de La Mettrie, Man a Machine (L’Homme machine), 1747.
- B. Libet, C. A. Gleason, E. W. Wright, D. K. Pearl, “Time of Conscious Intention to Act in Relation to Onset of Cerebral Activity (Readiness-Potential),” Brain, 1983.
- M. S. Gazzaniga, J. E. LeDoux, The Integrated Mind, Plenum Press, 1978.
- B. Spinoza, Ethics, 1677.
引用
@misc{lmmslab2026harness,
author = {{LMMs-Lab}},
title = {The Harness: Automatic Control for Intelligence in Action.},
howpublished = {\url{https://github.com/EvolvingLMMs-Lab/the-harness}},
year = {2026}
}