来自 AI 研究立场图谱百科
可解释改良主义:在进一步扩大或部署模型之前,必须先弄懂它们内部在算什么,而且这是做得到的。
主张
可解释改良主义相信黑箱能打开,也应该尽早打开。归因方法、probing 分类器、特征可视化、稀疏字典学习、对激活做因果干预,都是它的工具箱。目标不是用更好懂的东西替代神经网络,而是改良我们构建它们的方式:像调试软件一样调试模型,部署前做审计,从内部抓出欺骗性或脆弱的行为,而不是等它在输出里暴露。
它位于 Language 一侧、中间偏左,纵向略低于中线:最近的主要精力都花在语言模型上;它研究的是单个模型的内部,同时乐于围绕模型构建工具。主流色号符合改良而非革命的姿态:它不反对深度学习,也不反对 scaling,只是希望它们伴随着理解,就像工程学科终究会长出测量和检验一样。
论据
- 可解释工具已经在训练好的网络里找到具体、可验证的机制和特征,说明内部并非无可救药地不透明。
- 内部分析能发现通过了标准评测的虚假特征和捷径,在部署前抓住问题。
- 沿着识别出的方向或特征做 steering,提供了一种与微调等训练期方法互补的控制手段。
批评
- 批评者指出,很多归因和 probing 结果很脆弱、依赖具体方法,解释可能说服力大于准确性。
- 对小模型或窄行为的理解,未必能扩展到特征数量巨大、相互纠缠的前沿模型。
- 加速派认为这个领域相对能力进展太慢,行为评测才是更实际的保障。
代表作
- Axiomatic Attribution for Deep Networks2017
- Network Dissection: Quantifying Interpretability of Deep Visual Representations2017
- Towards Monosemanticity: Decomposing Language Models With Dictionary Learning2023
关系
怎样测出它
在完整版或专业版里落到这一格:x ≈ −0.63,y ≈ −0.74,范式 ≈ −0.55。