语法学家保守主义

来自 AI 研究立场图谱百科

语法学家保守主义:认为语言具有显式的层级结构,模型应当表示句法和组合关系,而不是只学平铺的 token 统计。

主张

语法学家保守主义书架上放着 treebank,心里装着句法树。句子不是词袋,也不是一串平铺的字符,而是由层层嵌套的成分构成,意义沿着这个结构组合出来。一个无视句法的模型也许能写出通顺的文字,但会在长距离一致、辖域歧义和新颖组合上栽跟头。体面的做法是给模型加上结构性的 inductive bias,不管是显式文法、递归网络还是树形 decoder,并且用系统性泛化来检验它们。

它位于图左侧靠近 Language 一端,在这里语言不只是媒介,更是研究对象;纵向略低于中线:是一个模型,但这个模型身上刻着结构。范式上属于革命派:把显式句法请回来,等于推翻今天的主流。它记得 parsing 还是 NLP 核心任务的年代,对无结构 transformer 的全面胜利保持礼貌的怀疑。

论据

  • 在组合泛化 benchmark 上,结构化模型泛化得更系统,而平铺的序列模型在熟悉部件的新组合上经常失败。
  • probing 研究发现大语言模型内部也编码了类似句法树的东西,说明结构是真实存在的,值得显式建模。
  • 显式结构提供了可解释的中间输出,可以检查、纠正和复用。

批评

  • 规模派指出,无结构的 transformer 已经在几乎所有下游 NLP 任务上超过了结构化模型。
  • 文法和 treebank 构建成本高,对不同语言和语体的覆盖也极不均衡。
  • 既然模型反正会隐式学到句法,硬编码进去可能只增加了僵化,没增加能力。

代表作

关系

怎样测出它

在完整版或专业版里落到这一格:x ≈ −0.65,y ≈ −0.78,范式 ≈ +0.62。

这是初稿。欢迎通过 pull request 修正或补充更好的论据。 在 GitHub 上编辑这个词条 编辑它的数据