来自 AI 研究立场图谱百科
语料原教旨主义:网页文本已经装下了几乎全部人类知识,因此收集、清洗并训练这些语料,就是 AI 的核心。
主张
语料原教旨主义把书面记录当作智能的经文。人类关于物理、法律、烹饪、数学乃至八卦的一切知识,都已经被写在了某处,而且大部分如今都在网上。AI 的任务因此很明确:把这些文本收集起来,清洗、去重、过滤,然后喂给模型。架构上的小改动只是注疏,语料才是正典。
它位于图表最左侧、靠近顶部:语言优先程度几乎到头;单体倾向也很强,因为知识应当住在预训练权重里,而不是运行时临时去取。它的范式等级是正统。“数据质量比模型巧思更重要”曾经是反主流的洞见,如今已是每个预训练团队的标准作业流程。
论据
- 更好的数据过滤和去重带来的收益,常常能和架构改动相当,付出的精力却少得多。
- 由网页爬取、书籍和代码构成的大型开放文本语料,让大规模预训练在社区里变得可复现。
- 文本把人类经验压缩成了一种稠密的符号形式,从中学习远比从原始感官数据学习便宜。
批评
- 互联网是有限的;按现在的消耗速度,高质量人类文本的供给是实打实的约束。
- 文本只记录了人们愿意写下来的东西,默会的、物理的、程序性的知识严重缺位。
- 接地派认为,只在“对世界的描述”上训练的模型,永远学不会这些词到底指的是什么。
代表作
- Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer2019
- The Pile: An 800GB Dataset of Diverse Text for Language Modeling2020
关系
怎样测出它
在完整版或专业版里落到这一格:x ≈ −1.00,y ≈ +0.71,范式 ≈ −0.72。