来自 AI 研究立场图谱百科
电路宪政主义:神经网络里实现的是由特征和连接组成、可读懂的电路,这些电路才是支配模型行为的真正宪法。
主张
电路宪政主义在可解释性上更进一步:它认为模型不只是部分可解释,而是由可识别的电路构成——特征和权重组成的小子图,实现着具体算法。复制模式的 induction head、组装成形状的曲线检测器、间接宾语电路,就是它的建国文献。如果行为是用电路写成的,那么读懂电路就是读懂模型真正的法律,比任何 system prompt 或政策文档都更有权威。
它位于 Language 一侧较远处,靠近 Monolith 顶端:transformer 上的电路研究大多在这里,它的纲领关注单个模型内部,而不是外部工具。颜色是正统:它完全在当下 Transformer 加规模的路线之内工作,研究的正是主流造出来的模型,尽管它押注的机制化、自底向上的理解,不久前深度学习圈里很多人还觉得太天真。“宪法”这个比喻也带着一个愿望:宪法可以修正,那么电路也许有一天可以被有意识地编辑。
论据
- induction head 等具体电路已经被识别、做过因果检验,并与 in-context learning 等能力联系起来。
- 电路分析给出可证伪的论断:消融或 patch 掉这些组件,预测的行为就应该改变。
- 相似的电路在不同模型和规模上反复出现,暗示存在通用积木,而不是偶然现象。
批评
- 多义神经元和 superposition 意味着干净的电路可能是例外,彻底逆向大模型或许不可行。
- 研究者自己挑研究哪些行为,已发现电路的目录可能偏向容易分析的情况。
- harness 派认为,在实践中搞懂模型的电路,不如把模型周围的系统设计好来得重要。
代表作
- Zoom In: An Introduction to Circuits2020
- A Mathematical Framework for Transformer Circuits2021
- In-context Learning and Induction Heads2022
关系
怎样测出它
在完整版或专业版里落到这一格:x ≈ −0.67,y ≈ +0.66,范式 ≈ −0.80。