词汇的自动获取是人工智能的一个子领域，关注从大规模文本语料库中通过计算方法提取词汇知识，如词义、句法行为和语义关系。其目标是在最少人工干预的情况下，利用算法识别原始或轻度标注数据中的模式，来构建或充实词典、同义词库和本体。这种方法与依赖人类专家手工编纂的传统词典学形成对比。该领域在20世纪90年代随着统计机器学习方法的兴起而获得显著地位，并已成为现代自然语言处理（NLP）流程的基础组成部分，包括用于大语言模型训练和评估的流程。
在此语境下，“词汇”一词指代一个结构化的词库及其属性，包括形态形式、词性标注、句法子范畴化框架，以及同义、上下位和反义等语义关系。自动获取方法通常作用于未标注或弱标注文本，利用分布统计、聚类和基于模式的提取。例如，系统可能因“狗”和“猫”出现在相似语境中而推断它们语义相关，或通过检测“X是Y的一种”等词汇句法模式来推断“犬科”是“狗”的上位词。这些技术对于将词汇资源扩展到新领域和语言至关重要，因为在这些情况下人工标注不切实际。
历史发展
自动词汇获取的起源可追溯至20世纪60年代和70年代计算语言学的早期工作，当时施乐帕洛阿尔托研究中心和麻省理工学院计算机科学与人工智能实验室等机构的研究人员探索了基于规则的模式匹配来提取词汇关系。一个重要里程碑是20世纪90年代Marti Hearst的工作，她证明了简单的词汇句法模式（如“例如”、“特别是”）能可靠地识别文本中的上下位关系。这种基于模式的方法后来被分布语义学所补充，由迈克尔·乔丹等研究人员在20世纪90年代末推广，利用向量空间模型基于共现统计来表示词义。2010年代神经网络嵌入（特别是word2vec和GloVe）的出现标志着一个范式转变，使得从数十亿词符中学习更细微的语义表示成为可能。
核心技术
现代自动词汇获取依赖几种核心技术。分布语义学是最广泛使用的方法，其中单词被表示为从语料库中其语境推导出的高维向量。余弦相似度等相似性度量使系统能将单词聚类成语义组，从而有效获取同义和相关性信息。基于模式的提取对于显性关系仍然有价值，使用手工制作或自动学习的模式来识别上位词、部分词和其他关系。基于图的方法从共现或依存句法分析数据构建词汇网络，然后应用PageRank等算法来识别中心或原型词汇。监督和半监督学习在有一定种子词汇可用时被采用，使用分类器将词汇扩展到新术语。例如，在少量已知动词及其论元结构上训练的分类器可以预测未见动词的子范畴化框架。
在现代AI中的应用
自动词汇获取在当代AI系统中扮演关键角色。在自然语言处理（NLP）中，获取的词汇用于词性标注、命名实体识别和语义角色标注，通常作为传统模型中的特征或深度学习架构中的辅助信号。对于OpenAI、Anthropic和Google DeepMind等开发的大语言模型，词汇获取在预训练期间隐式执行，因为模型从大规模语料库中学习单词表示。然而，显式词汇获取对于需要可解释知识的任务仍然相关，如为医学或法律文本构建领域特定本体。亚马逊网络服务和谷歌云等公司提供依赖自动获取词汇进行实体提取和情感分析的NLP服务。此外，词汇获取用于数据增强以生成合成训练示例，提高模型鲁棒性。
挑战与局限
尽管取得了成功，自动词汇获取仍面临若干挑战。歧义性是一个持续存在的问题：像“银行”这样的词有多种含义，分布方法除非应用词义消歧技术，否则常会混淆它们。数据稀疏性影响低资源语言或专业领域，因为语料库太小无法产生可靠统计。评估困难，因为没有单一的词汇资源黄金标准；不同应用可能需要不同粒度的意义。此外，获取的词汇可能继承训练数据中存在的偏见，如性别或种族刻板印象，这是AI公平性的一个关注点。斯坦福AI实验室和伯克利AI研究等机构的研究人员提出了缓解这些偏见的方法，但问题仍未解决。最后，语言的动态性意味着词汇必须持续更新，要求系统能随时间适应新词和用法模式。
未来方向
自动词汇获取的未来研究可能聚焦于整合符号和神经方法。结合基于模式方法的可解释性与神经嵌入的可扩展性的混合系统可能产生更准确且可解释的词汇。另一个方向是少样本和零样本学习，模型从最少示例中获取新词条，利用Transformer架构的泛化能力。还有对多语言和跨语言词汇获取日益增长的兴趣，使用平行语料库或多语言嵌入来跨语言传递知识。随着生成式AI的持续进步，词汇获取可能变得更加交互式，系统会提出澄清问题或征求人类用户反馈以优化其输出。最终目标仍是实现一个完全自动、持续更新的词汇资源，能以最少人力支持任何NLP应用。