分类: 全模态集权主义

20 个词条

你要一个原生全模态、端到端的模型,看、听、说、画一体完成。

视觉 token 国家主义
像素应离散化为视觉 token,让图像和视频可以用与语言相同的序列机器来建模。
苦涩教训正统派
能随算力扩展的通用方法——搜索与学习——长期来看总会击败人类精心设计的先验。
扩散自回归融合主义
自回归与扩散是互补的生成原理,应放进同一个模型,各自用在最合适的地方。
全模态专制主义
未来只属于一个原生全模态、能实时看听说的模型,其余一切都是过渡形态。
任意到任意帝国主义
一个模型应当能吃进任意模态、吐出任意模态,沿途吞并所有专用系统。
VLA 君主制
一个建立在预训练视觉语言骨干之上的 VLA 模型,应当成为每台机器人至高无上的大脑。
统一词表集权主义
图像、音频、动作都应离散化进同一张词表,让一个序列模型通吃所有模态。
语言多模态主义
目标是一个能理解和生成所有模态的全多模态模型,用语言建模的那套方法作为引擎。
原生融合集权主义
模态融合必须从预训练的第一层、第一个 token 开始,绝不能事后嫁接。
世界模拟器国家主义
大规模视频生成模型正在学会模拟物理世界,终将成为通用的世界模拟器。
规模律计划经济
scaling law 让 AI 进步变得可预测,模型大小、数据和算力都应按拟合曲线有计划地分配。
图文交错国家主义
图文交错的网页文档才是新时代的教科书,多模态模型应在其上大规模预训练。
早融合国家主义
各模态应在输入层就合并,交给同一个网络共同处理,而不是让各自的编码器到后期再拼接。
语音原生主义
认为语音和声音应当端到端地原生建模,而不是先转成文字再转回来。
像素极权主义
文字只是另一种图像,模型应该直接读渲染后的像素,而不是 token,把语言并入视觉。
对话专制主义
对话框是 AI 唯一正统的界面,所有能力都应以一轮对话的形式交付。
长上下文扩张主义
相信越来越长的 context window 将取代检索系统和外部记忆,让模型一次读完所有东西。
字节平民主义
tokenizer 是没人选出来的精英;模型应该直接读原始字节,自己学会意义的单位。
好奇心自由主义
智能体应该由内在动机驱动——奖励新奇和学习进展——而不是干等外部奖励。
表征集权主义
认为应该大规模训练一个通用表征,然后让所有下游任务都从这一个表征里读取。