语料原教旨主义

来自 AI 研究立场图谱百科

语料原教旨主义:网页文本已经装下了几乎全部人类知识,因此收集、清洗并训练这些语料,就是 AI 的核心。

主张

语料原教旨主义把书面记录当作智能的经文。人类关于物理、法律、烹饪、数学乃至八卦的一切知识,都已经被写在了某处,而且大部分如今都在网上。AI 的任务因此很明确:把这些文本收集起来,清洗、去重、过滤,然后喂给模型。架构上的小改动只是注疏,语料才是正典。

它位于图表最左侧、靠近顶部:语言优先程度几乎到头;单体倾向也很强,因为知识应当住在预训练权重里,而不是运行时临时去取。它的范式等级是正统。“数据质量比模型巧思更重要”曾经是反主流的洞见,如今已是每个预训练团队的标准作业流程。

论据

  • 更好的数据过滤和去重带来的收益,常常能和架构改动相当,付出的精力却少得多。
  • 由网页爬取、书籍和代码构成的大型开放文本语料,让大规模预训练在社区里变得可复现。
  • 文本把人类经验压缩成了一种稠密的符号形式,从中学习远比从原始感官数据学习便宜。

批评

  • 互联网是有限的;按现在的消耗速度,高质量人类文本的供给是实打实的约束。
  • 文本只记录了人们愿意写下来的东西,默会的、物理的、程序性的知识严重缺位。
  • 接地派认为,只在“对世界的描述”上训练的模型,永远学不会这些词到底指的是什么。

代表作

关系

怎样测出它

在完整版或专业版里落到这一格:x ≈ −1.00,y ≈ +0.71,范式 ≈ −0.72。

这是初稿。欢迎通过 pull request 修正或补充更好的论据。 在 GitHub 上编辑这个词条 编辑它的数据