分类: 范式:正统
28 个词条
范式等级 8:所有在图上以这一档深浅出现的主义。
| 混合专家联邦主义 模型应该是由专门化专家子网络组成的联邦,由路由器为每个输入只激活少数几个专家。 | |
| 涌现主义 模型越过某些规模后会不可预测地冒出质变能力,所以 scaling 本身就是发现的引擎。 | |
| 逻各斯绝对主义 一切可知之物都能序列化成一条 token 流,而读懂它只需要一个足够大的模型。 | |
| 苦涩教训正统派 能随算力扩展的通用方法——搜索与学习——长期来看总会击败人类精心设计的先验。 | |
| 全模态专制主义 未来只属于一个原生全模态、能实时看听说的模型,其余一切都是过渡形态。 | |
| 预训练至上主义 一切真本事都来自预训练,后训练不过是教模型懂礼貌、守格式。 | |
| VLA 君主制 一个建立在预训练视觉语言骨干之上的 VLA 模型,应当成为每台机器人至高无上的大脑。 | |
| 统一词表集权主义 图像、音频、动作都应离散化进同一张词表,让一个序列模型通吃所有模态。 | |
| 语言多模态主义 目标是一个能理解和生成所有模态的全多模态模型,用语言建模的那套方法作为引擎。 | |
| 原生融合集权主义 模态融合必须从预训练的第一层、第一个 token 开始,绝不能事后嫁接。 | |
| 语料原教旨主义 网页文本已经装下了几乎全部人类知识,因此收集、清洗并训练这些语料,就是 AI 的核心。 | |
| 指令社团主义 认为能力是被 instruction tuning 组织和激发出来的,所以每个任务都应写成一条自然语言指令。 | |
| 电路宪政主义 神经网络里实现的是由特征和连接组成、可读懂的电路,这些电路才是支配模型行为的真正宪法。 | |
| 图文交错国家主义 图文交错的网页文档才是新时代的教科书,多模态模型应在其上大规模预训练。 | |
| 人形集权主义 人造世界是为人体设计的,因此通用机器人应该是人形,人形数据也应集中起来。 | |
| RLHF 家长主义 模型必须由人类偏好反馈“养大”,把预训练得来的原始能力塑造成有用、诚实、安全的行为。 | |
| 对话专制主义 对话框是 AI 唯一正统的界面,所有能力都应以一轮对话的形式交付。 | |
| 多模态语言主义 认为模型可以通过多种感官感知世界,但思考应该在语言中进行。 | |
| 分布语义主义 一个词的意义就是它出现的上下文模式,所以单靠共现统计就能学到意义。 | |
| 描述集权主义 每张图都应先转成详细描述,因为语言是感知与推理之间的通用接口。 | |
| 提示词手工业主义 精心手写的 prompt 能释放模型的大部分能力,所以写 prompt 是一门值得逐字打磨的手艺。 | |
| 多模态智能体主义 agent 应该能看、能听、能说、能做,由一个中心规划器调度各类专门的感知与生成工具。 | |
| 模块化多模态主义 多模态系统应该由分别预训练好的编码器和语言模型拼装而成,中间用轻量的 adapter 连接。 | |
| 链式工团主义 复杂任务应该拆成一串小而专的模型调用,每一环只干一件事,把结果往下传。 | |
| 工作流官僚主义 LLM 应用应该遵循显式、预先定义的工作流和标准流程,每一步、每个分支、每次交接都要白纸黑字写下来。 | |
| 算力神权主义 Monolith 极端的称号:算力是能力的唯一来源,最大的集群就是最接近神启的东西。 | |
| 前沿强权主义 封闭维度极端的称号:前沿能力属于少数有能力造出它、也有责任守住它的实验室。 | |
| AI 末日主义 谨慎维度极端的称号:先进 AI 的风险严重到应当放缓甚至暂停发展,直到安全跟上。 |