来自 AI 研究立场图谱百科
分布语义主义:一个词的意义就是它出现的上下文模式,所以单靠共现统计就能学到意义。
主张
分布语义主义建立在一句老口号上:观其伴,知其义。出现在相似上下文里的词,意义相近;所以一个能刻画上下文统计的模型,就刻画了意义——不需要词典、逻辑或感知。词向量把这一点变成了几何:类比就是向量差;上下文语言模型又把它从词推广到整段文本。在这一派看来,next-token prediction 不是碰巧有效的技巧,而是分布语义走到尽头的自然结果。
它靠近 Language 一端,纵向在中线略偏上。它是一种意义理论而不是一种架构,所以对单体还是系统基本无所谓,但它坚定地把意义放在文本里。正统色号代表一个处在主流核心的成熟观点:这个假说已经几十年了,悄悄成了现代 NLP 的地基,所以它的拥护者更多是自信而不是好斗。
论据
- 纯靠共现学出来的 embedding 能还原同义、类比和语义聚类,并且和人类的相似度判断高度一致。
- 每一个大语言模型本质上都是分布式学习者,它们广泛的语义能力就是这个假说的有力证据。
- 只需要原始文本,任何有语料的语言和领域都能用,不需要标注或本体。
批评
- 接地派认为,共现能告诉你“红”和“绯红”很近,却告诉不了你红色长什么样,意义是不完整的。
- 形式语义派指出,分布相似性会模糊关键的逻辑区别,比如反义词常常出现在几乎相同的上下文里。
- 统计意义继承了语料的偏见和空白,学到的是用法,而不是真相。
代表作
- Distributional Structure1954
- Efficient Estimation of Word Representations in Vector Space2013
- GloVe: Global Vectors for Word Representation2014
关系
亦敌亦友
怎样测出它
在完整版或专业版里落到这一格:x ≈ −0.81,y ≈ +0.27,范式 ≈ −0.87。