来自 AI 研究立场图谱百科
新自由语言主义:把预训练语言模型当作一切系统的主干,视觉、语音、工具都作为可替换的插件挂上去。
主张
新自由语言主义已经和市场达成和解:语言模型赢了,其余都是供应商。要视觉?拿一个预训练好的 image encoder,经过一个 projection 层接到 LM 上,再用指令数据调一调。要语音、检索、计算器?插上就行。backbone 保持主权,各模块竞争着为它服务,谁也不用从头再预训一个巨无霸。高效、模块化、极其务实。
它位于 Language 的最边缘,纵向在下半区、偏 Harness:一个中心模型,但乐于引进外部组件。范式上属于铁杆正统。大量开源视觉语言模型和工具增强助手背后都是这套默认配方,所以与其说它是一种意识形态,不如说是当下的主流经济共识,两翼也都有批评者。
论据
- 用一个小 adapter 把冻结或轻调的 vision encoder 接到语言模型上,只花联合预训练的一小部分成本,就能得到相当能打的多模态助手。
- 一旦输入被映射进 LM 的 embedding 空间,它的推理、世界知识和指令遵循能力几乎可以免费迁移到新模态。
- 模块化让每个组件都能在更好的 encoder 或语言模型出现时独立升级。
批评
- 原生融合派认为,后接的 encoder 只能带来浅层感知:模型透过一根由投影 token 组成的细吸管看世界,精细细节全丢了。
- 插件继承了语言模型的盲区;backbone 用文字表示不了的东西,adapter 也补不上。
- Harness 派会说:既然一切都是插件,真正的主干其实是编排层,而不是 LM。
代表作
- Visual Instruction Tuning2023
- BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models2023
- HuggingGPT: Solving AI Tasks with ChatGPT and its Friends in Hugging Face2023
关系
怎样测出它
在完整版或专业版里落到这一格:x ≈ −0.86,y ≈ −0.84,范式 ≈ −0.94。