分类: 规模语言主义
16 个词条
你相信一个足够大的语言模型就是通用智能的核心,其他模态和外挂终将被它吸收。
| 下一词极权主义 预测下一个 token 不是智能的代理指标,它就是智能本身,其余目标都只是脚注。 | |
| 混合专家联邦主义 模型应该是由专门化专家子网络组成的联邦,由路由器为每个输入只激活少数几个专家。 | |
| 涌现主义 模型越过某些规模后会不可预测地冒出质变能力,所以 scaling 本身就是发现的引擎。 | |
| 逻各斯绝对主义 一切可知之物都能序列化成一条 token 流,而读懂它只需要一个足够大的模型。 | |
| 推理国家主义 在可验证问题上用强化学习训练出的长思维链,是通往更强智能的主干道。 | |
| 预训练至上主义 一切真本事都来自预训练,后训练不过是教模型懂礼貌、守格式。 | |
| 提示词无政府主义 模型应当在没有系统提示、人设和外加护栏的情况下运行;原生模型说什么,就是最诚实的回答。 | |
| 算力国家主义 算力是 AI 时代决定性的生产要素,谁集中了最多算力,谁就有资格定义前沿。 | |
| 语料原教旨主义 网页文本已经装下了几乎全部人类知识,因此收集、清洗并训练这些语料,就是 AI 的核心。 | |
| 指令社团主义 认为能力是被 instruction tuning 组织和激发出来的,所以每个任务都应写成一条自然语言指令。 | |
| 电路宪政主义 神经网络里实现的是由特征和连接组成、可读懂的电路,这些电路才是支配模型行为的真正宪法。 | |
| 提示词君主制 一份精心撰写的 system prompt 就足以统治模型在所有任务上的行为,不需要别的机制。 | |
| 纯文本保守主义 认为文本本身就承载了足够多的人类知识,足以通向强智能,加视觉等模态大多是多余的。 | |
| 合成数据计划经济 自然数据不够用时,就让模型在有计划、可验证的管线里自己生产训练数据。 | |
| 测试时算力集权 在推理阶段投入更多算力——采样、搜索、想得更久——是与预训练同等重要的 scaling 维度。 | |
| RLHF 家长主义 模型必须由人类偏好反馈“养大”,把预训练得来的原始能力塑造成有用、诚实、安全的行为。 |