分类: 规模语言主义

16 个词条

你相信一个足够大的语言模型就是通用智能的核心,其他模态和外挂终将被它吸收。

下一词极权主义
预测下一个 token 不是智能的代理指标,它就是智能本身,其余目标都只是脚注。
混合专家联邦主义
模型应该是由专门化专家子网络组成的联邦,由路由器为每个输入只激活少数几个专家。
涌现主义
模型越过某些规模后会不可预测地冒出质变能力,所以 scaling 本身就是发现的引擎。
逻各斯绝对主义
一切可知之物都能序列化成一条 token 流,而读懂它只需要一个足够大的模型。
推理国家主义
在可验证问题上用强化学习训练出的长思维链,是通往更强智能的主干道。
预训练至上主义
一切真本事都来自预训练,后训练不过是教模型懂礼貌、守格式。
提示词无政府主义
模型应当在没有系统提示、人设和外加护栏的情况下运行;原生模型说什么,就是最诚实的回答。
算力国家主义
算力是 AI 时代决定性的生产要素,谁集中了最多算力,谁就有资格定义前沿。
语料原教旨主义
网页文本已经装下了几乎全部人类知识,因此收集、清洗并训练这些语料,就是 AI 的核心。
指令社团主义
认为能力是被 instruction tuning 组织和激发出来的,所以每个任务都应写成一条自然语言指令。
电路宪政主义
神经网络里实现的是由特征和连接组成、可读懂的电路,这些电路才是支配模型行为的真正宪法。
提示词君主制
一份精心撰写的 system prompt 就足以统治模型在所有任务上的行为,不需要别的机制。
纯文本保守主义
认为文本本身就承载了足够多的人类知识,足以通向强智能,加视觉等模态大多是多余的。
合成数据计划经济
自然数据不够用时,就让模型在有计划、可验证的管线里自己生产训练数据。
测试时算力集权
在推理阶段投入更多算力——采样、搜索、想得更久——是与预训练同等重要的 scaling 维度。
RLHF 家长主义
模型必须由人类偏好反馈“养大”,把预训练得来的原始能力塑造成有用、诚实、安全的行为。