视觉 token 国家主义

来自 AI 研究立场图谱百科

视觉 token 国家主义:像素应离散化为视觉 token,让图像和视频可以用与语言相同的序列机器来建模。

主张

视觉 token 国家主义认为,多模态统一的决定性一步是量化。训练一个带可学习 codebook 的自编码器,把每张图或每段视频压成一格格离散编码,视觉世界就变成了一门有自己词表的语言。从此,为文本打造的一切工具都能直接用上:next-token prediction、采样、缓存、prompting。统一了货币,天下自然统一。

它位于图表最顶端、中间偏左:偏语言,因为它把像素变成一套词表,交给语言式的模型处理;偏单体,因为它的目的是把感知喂进同一个序列模型。它的范式等级是铁杆正统:让视觉去迁就当下的 next-token 配方。离散视觉 tokenizer 作为研究积木已经相当成熟,但它到底是终极答案,还是一个方便的权宜之计,仍在公开争论。

论据

  • 向量量化自编码器能把图像压成紧凑的离散编码,Transformer 建模起来很高效。
  • 离散视觉 token 让早期的文生图系统用一个朴素的自回归 Transformer 就能生成图像。
  • 更好的 tokenizer 一再带来生成质量的大幅提升,说明 tokenizer 本身就是关键杠杆。

批评

  • 量化会丢细节、引入伪影;同等压缩率下,连续 latent 往往重建得更好。
  • codebook 可能出现坍缩和利用率低的问题,词表的表达力并没有看上去那么强。
  • 隐空间预测派认为,预测离散的像素编码,依然是让模型盯着外观,而不是语义。

代表作

关系

怎样测出它

在完整版或专业版里落到这一格:x ≈ −0.16,y ≈ +0.98,范式 ≈ −1.00。

这是初稿。欢迎通过 pull request 修正或补充更好的论据。 在 GitHub 上编辑这个词条 编辑它的数据