来自 AI 研究立场图谱百科
统一词表集权主义:图像、音频、动作都应离散化进同一张词表,让一个序列模型通吃所有模态。
主张
统一词表集权主义认为,多模态 AI 的真正瓶颈不在架构,而在“记账”。给每种模态配一个 codebook,把这些编码追加到文本词表后面,于是一个图像 patch、一段音频、一条机器人关节指令,统统变成同一张 embedding 表里的 token ID。Transformer 不需要知道谁是谁;统一词表就是宪法,每种模态都得来这里登记户口。
它位于图表顶部、略偏左。单体的位置正是重点:一张词表意味着一个模型、一个 loss、一个解码循环。轻微的语言倾向,来自它的模板借自语言建模——哪怕大多数 token 早已不是词。范式等级是正统:它把语言模型的配方推广到所有模态,这个想法在研究界很主流,但在生产系统里仍有争议。
论据
- 共享词表让一个自回归模型既能读、也能输出任意模态,理解与生成可以在同一个网络里完成。
- 在序列化的文本、图像和控制动作上训练的通用智能体已经证明,一套权重可以覆盖差异极大的任务。
- 离散 token 能直接继承语言模型的全套工具链:采样、KV cache、in-context prompting、scaling 配方。
批评
- 量化会丢信息:离散 codebook 会抹掉精细的视觉细节,对连续控制也很吃力。
- 每种模态的 tokenizer 设计,成了隐藏的人工工程来源——而这恰恰是该教义声称要废除的东西。
- 模块化阵营认为,配连续 embedding 的专用编码器,单位算力下就是效果更好。
代表作
关系
亦敌亦友
怎样测出它
在完整版或专业版里落到这一格:x ≈ −0.08,y ≈ +0.97,范式 ≈ −0.78。