经典单语词义消歧（WSD）是计算语言学中的一项任务，旨在根据单词在单一语言中的上下文语境来确定其正确词义。与使用翻译等价物的跨语言方法不同，经典WSD依赖于词典或同义词库等词义清单，为每个歧义词出现分配一个离散的意义标签。从1980年代到2010年代初，这个问题一直是自然语言处理研究的核心焦点，之后神经网络和大语言模型方法的兴起在很大程度上取代了传统技术。
该任务通常被框架为监督式或基于知识的分类问题。在监督式WSD中，系统在人工标注的语料库上进行训练，其中每个歧义词都根据预定义清单被标注为正确的词义。相比之下，基于知识的方法使用WordNet或词典定义等词汇资源来计算上下文与候选词义之间的相似性。评估通常针对基准数据集进行，如Senseval和SemEval，这些数据集自1998年以来提供了标准化的测试集。
历史发展
WSD的起源可以追溯到1950年代的早期机器翻译研究，但经典时代始于1980年代，随着机器可读词典的出现。施乐帕克研究中心和麻省理工学院计算机科学与人工智能实验室等机构的研究人员探索了使用词典定义和例句作为词义选择的证据。1985年，普林斯顿大学创建了WordNet，为英语WSD提供了结构化的词汇数据库，成为事实上的标准词义清单，推动了该领域的发展。
在1990年代，统计方法成为主流。Yarowsky（1995）的开创性工作引入了“一个语篇一个词义”假设和一种自举算法，仅使用少量种子标注示例即可实现高精度。这一时期还见证了1998年首次Senseval评估活动的启动，建立了严格的比较基准并推动了系统性进展。
2000年代见证了监督式机器学习方法的兴起，包括支持向量机和决策树，应用于从局部上下文、搭配和句法依赖中提取的丰富特征集。卡内基梅隆大学研究人员开发的系统持续位居排行榜前列，在粗粒度任务上达到约70%的准确率。然而，性能趋于平稳，该领域在词义粒度和领域适应方面面临固有困难。
关键方法与算法
经典WSD方法分为三大类。基于知识的方法依赖外部资源，无需标注数据。Lesk算法由Michael Lesk于1986年提出，选择词典定义与上下文单词重叠度最高的词义。变体方法通过使用WordNet中的语义相似度度量（如Jiang-Conrath和Resnik指标）进行改进，这些指标基于信息内容和分类距离计算相关性。
监督式方法将WSD视为分类问题。特征工程至关重要，常见特征包括周围单词（词袋）、词性标注和句法关系。朴素贝叶斯、最大熵模型和支持向量机等算法被广泛使用。Senseval-2（2001）和Senseval-3（2004）中的最佳系统采用了这些技术，通常结合集成方法和领域特定调优。
自举和半监督方法解决了标注数据稀缺的问题。Yarowsky的算法在小型种子集上迭代训练分类器，然后利用其对未标注数据的预测来扩展训练集，利用“一个语篇一个词义”约束。这种方法在词汇样本任务中取得了显著成功，其中少量目标词在多个上下文中被标注。
评估与基准
Senseval和SemEval活动提供了主要评估框架。Senseval-1（1998）引入了词汇样本和全词任务，后者要求对连续文本中的每个实词进行消歧。后续版本，包括Senseval-2、Senseval-3和SemEval-2007，细化了任务并增加了多语言轨道。英语词汇样本任务通常涵盖20到40个歧义词，而全词任务使用来自《华尔街日报》和维基百科等来源的连续文本。
评估指标包括精确率、召回率和F1分数，召回率通常计算为系统尝试消歧的单词比例。最佳经典系统在全词任务上达到约65-70%的F1分数，词汇样本任务由于单词集有限而达到更高准确率。一个显著挑战是“知识获取瓶颈”：手动词义标注成本高昂，且词义清单通常具有细粒度区分，人类和机器都难以达成一致。
局限性与向现代方法的过渡
经典WSD面临几个持续存在的局限性。对固定词义清单的依赖使系统在跨领域和跨语言时显得脆弱。细粒度词义，如区分“bank”的不同类型（金融机构与河岸），尤其困难，且标注者间一致性通常低于80%。此外，基于特征的方法无法有效捕捉长距离语义上下文。
2010年代词嵌入的出现，随后2018年Transformer模型（如BERT）的兴起，彻底改变了该领域。这些模型学习隐式编码词义的上下文表示，在WSD数据集上进行微调可带来显著改进，全词任务通常超过80%的F1分数。因此，经典WSD方法现在主要具有历史意义，但它们在理解词汇语义基础以及现代模型不切实际的低资源场景中仍然相关。
遗产与影响
尽管已被取代，经典WSD贡献了持续存在于现代NLP中的基本概念。词义清单和评估基准的思想影响了后来的任务，如实体链接和语义角色标注。WSD中开创的自举和半监督技术仍用于标注数据有限的领域。此外，经典WSD中识别的挑战，如词义粒度和上下文依赖性，继续为大语言模型的可解释性和评估研究提供信息。