分布语义主义

来自 AI 研究立场图谱百科

分布语义主义:一个词的意义就是它出现的上下文模式,所以单靠共现统计就能学到意义。

主张

分布语义主义建立在一句老口号上:观其伴,知其义。出现在相似上下文里的词,意义相近;所以一个能刻画上下文统计的模型,就刻画了意义——不需要词典、逻辑或感知。词向量把这一点变成了几何:类比就是向量差;上下文语言模型又把它从词推广到整段文本。在这一派看来,next-token prediction 不是碰巧有效的技巧,而是分布语义走到尽头的自然结果。

它靠近 Language 一端,纵向在中线略偏上。它是一种意义理论而不是一种架构,所以对单体还是系统基本无所谓,但它坚定地把意义放在文本里。正统色号代表一个处在主流核心的成熟观点:这个假说已经几十年了,悄悄成了现代 NLP 的地基,所以它的拥护者更多是自信而不是好斗。

论据

  • 纯靠共现学出来的 embedding 能还原同义、类比和语义聚类,并且和人类的相似度判断高度一致。
  • 每一个大语言模型本质上都是分布式学习者,它们广泛的语义能力就是这个假说的有力证据。
  • 只需要原始文本,任何有语料的语言和领域都能用,不需要标注或本体。

批评

  • 接地派认为,共现能告诉你“红”和“绯红”很近,却告诉不了你红色长什么样,意义是不完整的。
  • 形式语义派指出,分布相似性会模糊关键的逻辑区别,比如反义词常常出现在几乎相同的上下文里。
  • 统计意义继承了语料的偏见和空白,学到的是用法,而不是真相。

代表作

关系

怎样测出它

在完整版或专业版里落到这一格:x ≈ −0.81,y ≈ +0.27,范式 ≈ −0.87。

这是初稿。欢迎通过 pull request 修正或补充更好的论据。 在 GitHub 上编辑这个词条 编辑它的数据