来自 AI 研究立场图谱百科
像素极权主义:文字只是另一种图像,模型应该直接读渲染后的像素,而不是 token,把语言并入视觉。
主张
像素极权主义把多模态的常规等级秩序整个倒过来。别人把图像变成文字,它把文字变成图像:把文本渲染出来,喂给视觉模型,让模型自己学会认字。tokenizer、词表以及它们的各种怪癖,统统消失。网页截图、扫描表单、图表和一段散文,全都成了同一种输入。语言不是统治模态,只是一种恰好携带意义的视觉纹理。
它位于图表上部靠顶、中线右侧,偏向世界一侧。单体立场很强,因为一个读像素的模型,同时取代了 tokenizer 和独立的 OCR、版面分析流水线。它的范式等级为求新:主流模型很少这么做,但它保留了标准配方,只改了输入方式,是对“文本优先”建制派的一次刻意挑衅。
论据
- 像素输入绕开了 tokenizer 的老问题:没见过的文字系统、奇怪拼写、很多语言切分效率低下。
- 真实世界里的文档、界面和图表本来就是视觉对象,按像素读能保留版式、字体和插图。
- 在截图上预训练的工作已经表明,视觉解析可以作为语言理解的通用目标。
批评
- 对于普通文本,渲染成像素再读,算力效率远不如 token 序列。
- 以像素形式生成文字很别扭,所以大多数系统输出时仍然退回到 token。
- 语言优先派认为,丢掉离散符号,恰恰丢掉了让推理变得可处理的那部分结构。
代表作
- Language Modelling with Pixels2022
- Pix2Struct: Screenshot Parsing as Pretraining for Visual Language Understanding2022
关系
亦敌亦友
怎样测出它
在完整版或专业版里落到这一格:x ≈ +0.66,y ≈ +0.78,范式 ≈ +0.30。