字节平民主义

来自 AI 研究立场图谱百科

字节平民主义:tokenizer 是没人选出来的精英;模型应该直接读原始字节,自己学会意义的单位。

主张

字节平民主义要彻底废除 tokenizer。在它看来,任何词表都是对别人语料做一次频率统计后拍板的决定,这些决定悄悄偏袒常见语言、常见拼写和常见格式。原始字节才是人民的字母表:任何文字、任何文件类型、任何错别字都能表示,没有 OOV 这回事。让网络自己通过 patching、pooling 或层级结构学会怎么分块,而不是继承一套现成的。

它位于横轴正中,纵向在上半区、偏向 Monolith。它关心的仍然是类文本序列,但把它推向一个通用、与模态无关的字节流,所以和把文字渲染成像素的那一派很聊得来。颜色是逆天之革命:它要的不是更好的 tokenizer,而是根本不要,并且愿意为这个原则付出实打实的工程代价。

论据

  • 字节级模型对噪声、拼写错误和少见文字明显更鲁棒,因为没有固定的切分可以被打破。
  • 统一的字节接口消除了各语言词表之间的政治问题,同一个模型可以读代码、文本和任意文件格式。
  • 层级和 patch 架构说明,字节的长度代价在很大程度上可以通过工程手段消化,而不是只能认命。

批评

  • 字节序列比 token 序列长好几倍,朴素的字节模型在算力和上下文上代价很大。
  • 改良派指出,学出来的 patching 往往又重新发明了一个很像 tokenizer 的东西,所谓废除可能更像换个名字。
  • 语法派认为字节完全不带语言结构,模型得从零重新发现形态学。

代表作

关系

怎样测出它

在完整版或专业版里落到这一格:x ≈ +0.31,y ≈ +0.69,范式 ≈ +0.91。

这是初稿。欢迎通过 pull request 修正或补充更好的论据。 在 GitHub 上编辑这个词条 编辑它的数据