分类: 范式:正统

28 个词条

范式等级 8:所有在图上以这一档深浅出现的主义。

混合专家联邦主义
模型应该是由专门化专家子网络组成的联邦,由路由器为每个输入只激活少数几个专家。
涌现主义
模型越过某些规模后会不可预测地冒出质变能力,所以 scaling 本身就是发现的引擎。
逻各斯绝对主义
一切可知之物都能序列化成一条 token 流,而读懂它只需要一个足够大的模型。
苦涩教训正统派
能随算力扩展的通用方法——搜索与学习——长期来看总会击败人类精心设计的先验。
全模态专制主义
未来只属于一个原生全模态、能实时看听说的模型,其余一切都是过渡形态。
预训练至上主义
一切真本事都来自预训练,后训练不过是教模型懂礼貌、守格式。
VLA 君主制
一个建立在预训练视觉语言骨干之上的 VLA 模型,应当成为每台机器人至高无上的大脑。
统一词表集权主义
图像、音频、动作都应离散化进同一张词表,让一个序列模型通吃所有模态。
语言多模态主义
目标是一个能理解和生成所有模态的全多模态模型,用语言建模的那套方法作为引擎。
原生融合集权主义
模态融合必须从预训练的第一层、第一个 token 开始,绝不能事后嫁接。
语料原教旨主义
网页文本已经装下了几乎全部人类知识,因此收集、清洗并训练这些语料,就是 AI 的核心。
指令社团主义
认为能力是被 instruction tuning 组织和激发出来的,所以每个任务都应写成一条自然语言指令。
电路宪政主义
神经网络里实现的是由特征和连接组成、可读懂的电路,这些电路才是支配模型行为的真正宪法。
图文交错国家主义
图文交错的网页文档才是新时代的教科书,多模态模型应在其上大规模预训练。
人形集权主义
人造世界是为人体设计的,因此通用机器人应该是人形,人形数据也应集中起来。
RLHF 家长主义
模型必须由人类偏好反馈“养大”,把预训练得来的原始能力塑造成有用、诚实、安全的行为。
对话专制主义
对话框是 AI 唯一正统的界面,所有能力都应以一轮对话的形式交付。
多模态语言主义
认为模型可以通过多种感官感知世界,但思考应该在语言中进行。
分布语义主义
一个词的意义就是它出现的上下文模式,所以单靠共现统计就能学到意义。
描述集权主义
每张图都应先转成详细描述,因为语言是感知与推理之间的通用接口。
提示词手工业主义
精心手写的 prompt 能释放模型的大部分能力,所以写 prompt 是一门值得逐字打磨的手艺。
多模态智能体主义
agent 应该能看、能听、能说、能做,由一个中心规划器调度各类专门的感知与生成工具。
模块化多模态主义
多模态系统应该由分别预训练好的编码器和语言模型拼装而成,中间用轻量的 adapter 连接。
链式工团主义
复杂任务应该拆成一串小而专的模型调用,每一环只干一件事,把结果往下传。
工作流官僚主义
LLM 应用应该遵循显式、预先定义的工作流和标准流程,每一步、每个分支、每次交接都要白纸黑字写下来。
算力神权主义
Monolith 极端的称号:算力是能力的唯一来源,最大的集群就是最接近神启的东西。
前沿强权主义
封闭维度极端的称号:前沿能力属于少数有能力造出它、也有责任守住它的实验室。
AI 末日主义
谨慎维度极端的称号:先进 AI 的风险严重到应当放缓甚至暂停发展,直到安全跟上。