来自 AI 研究立场图谱百科
分词改良主义:模型的很多毛病都出在分词上,所以应该认真改良 tokenizer,而不是靠堆规模绕过去或者干脆废除它。
主张
分词改良主义只有一个反复出现的诊断:问题总在 tokenizer。数不清单词里有几个字母、算术翻车、非拉丁文字白白吃掉上下文、冒出莫名其妙的 glitch token——在改良派看来,这些多半是一个训练前就冻结的预处理步骤惹的祸。药方不是革命而是改良:更好的合并规则、数字逐位切分、更公平的多语言词表、认真处理空白和代码,以及排查训练不足的 token。
它位于横轴正中,纵轴居中略偏下(Harness 一侧),因为它把 tokenizer 当成一个值得单独打磨的组件,而不是单体模型的实现细节。颜色属于主流:要变,但只在现有配方之内渐进地变。改良派保留 subword,因为它高效;他们只是拒绝把一个贪心压缩算法造出来的词表当成神圣不可侵犯。
论据
- 拼写和字符级任务的失败方式和单词怎么被切分高度吻合,矛头直接指向 tokenizer,而不是推理能力。
- 把数字切成单个数位是个便宜又广为人知的改动,往往能改善算术,说明 tokenizer 的小决定会被下游放大。
- 以英语为主训练的词表让其他文字消耗多好几倍的 token,意味着更贵、更短的有效上下文和更差的质量。
批评
- 字节派认为改良只是给烂制度打补丁,任何固定词表都会留下新的怪问题。
- 规模派指出,更大的模型能掩盖很多分词怪癖,精力也许该花在别处。
- 换 tokenizer 通常意味着从头重训,很多改良方案很难公平验证。
代表作
- Neural Machine Translation of Rare Words with Subword Units2016
- SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing2018
关系
亦敌亦友
怎样测出它
在完整版或专业版里落到这一格:x ≈ +0.00,y ≈ −0.69,范式 ≈ −0.48。