来自 AI 研究立场图谱百科
视觉 token 国家主义:像素应离散化为视觉 token,让图像和视频可以用与语言相同的序列机器来建模。
主张
视觉 token 国家主义认为,多模态统一的决定性一步是量化。训练一个带可学习 codebook 的自编码器,把每张图或每段视频压成一格格离散编码,视觉世界就变成了一门有自己词表的语言。从此,为文本打造的一切工具都能直接用上:next-token prediction、采样、缓存、prompting。统一了货币,天下自然统一。
它位于图表最顶端、中间偏左:偏语言,因为它把像素变成一套词表,交给语言式的模型处理;偏单体,因为它的目的是把感知喂进同一个序列模型。它的范式等级是铁杆正统:让视觉去迁就当下的 next-token 配方。离散视觉 tokenizer 作为研究积木已经相当成熟,但它到底是终极答案,还是一个方便的权宜之计,仍在公开争论。
论据
- 向量量化自编码器能把图像压成紧凑的离散编码,Transformer 建模起来很高效。
- 离散视觉 token 让早期的文生图系统用一个朴素的自回归 Transformer 就能生成图像。
- 更好的 tokenizer 一再带来生成质量的大幅提升,说明 tokenizer 本身就是关键杠杆。
批评
- 量化会丢细节、引入伪影;同等压缩率下,连续 latent 往往重建得更好。
- codebook 可能出现坍缩和利用率低的问题,词表的表达力并没有看上去那么强。
- 隐空间预测派认为,预测离散的像素编码,依然是让模型盯着外观,而不是语义。
代表作
- Neural Discrete Representation Learning2017
- Taming Transformers for High-Resolution Image Synthesis2020
- Zero-Shot Text-to-Image Generation2021
关系
亦敌亦友
怎样测出它
在完整版或专业版里落到这一格:x ≈ −0.16,y ≈ +0.98,范式 ≈ −1.00。