分类: 全模态集权主义
20 个词条
你要一个原生全模态、端到端的模型,看、听、说、画一体完成。
| 视觉 token 国家主义 像素应离散化为视觉 token,让图像和视频可以用与语言相同的序列机器来建模。 | |
| 苦涩教训正统派 能随算力扩展的通用方法——搜索与学习——长期来看总会击败人类精心设计的先验。 | |
| 扩散自回归融合主义 自回归与扩散是互补的生成原理,应放进同一个模型,各自用在最合适的地方。 | |
| 全模态专制主义 未来只属于一个原生全模态、能实时看听说的模型,其余一切都是过渡形态。 | |
| 任意到任意帝国主义 一个模型应当能吃进任意模态、吐出任意模态,沿途吞并所有专用系统。 | |
| VLA 君主制 一个建立在预训练视觉语言骨干之上的 VLA 模型,应当成为每台机器人至高无上的大脑。 | |
| 统一词表集权主义 图像、音频、动作都应离散化进同一张词表,让一个序列模型通吃所有模态。 | |
| 语言多模态主义 目标是一个能理解和生成所有模态的全多模态模型,用语言建模的那套方法作为引擎。 | |
| 原生融合集权主义 模态融合必须从预训练的第一层、第一个 token 开始,绝不能事后嫁接。 | |
| 世界模拟器国家主义 大规模视频生成模型正在学会模拟物理世界,终将成为通用的世界模拟器。 | |
| 规模律计划经济 scaling law 让 AI 进步变得可预测,模型大小、数据和算力都应按拟合曲线有计划地分配。 | |
| 图文交错国家主义 图文交错的网页文档才是新时代的教科书,多模态模型应在其上大规模预训练。 | |
| 早融合国家主义 各模态应在输入层就合并,交给同一个网络共同处理,而不是让各自的编码器到后期再拼接。 | |
| 语音原生主义 认为语音和声音应当端到端地原生建模,而不是先转成文字再转回来。 | |
| 像素极权主义 文字只是另一种图像,模型应该直接读渲染后的像素,而不是 token,把语言并入视觉。 | |
| 对话专制主义 对话框是 AI 唯一正统的界面,所有能力都应以一轮对话的形式交付。 | |
| 长上下文扩张主义 相信越来越长的 context window 将取代检索系统和外部记忆,让模型一次读完所有东西。 | |
| 字节平民主义 tokenizer 是没人选出来的精英;模型应该直接读原始字节,自己学会意义的单位。 | |
| 好奇心自由主义 智能体应该由内在动机驱动——奖励新奇和学习进展——而不是干等外部奖励。 | |
| 表征集权主义 认为应该大规模训练一个通用表征,然后让所有下游任务都从这一个表征里读取。 |