关键词提取是自然语言处理（NLP）中的一项任务，旨在自动识别文档中最相关的词语或短语。这些关键词作为文本主要主题的紧凑表示，支持高效的索引、检索和摘要生成。该过程是信息检索系统、数字图书馆和内容管理平台的基础，在这些场景中，它支持文档分类、主题标签和搜索引擎优化等任务。
该领域已从简单的基于频率的计数方法发展到利用机器学习和深度学习的复杂方法。早期系统依赖统计度量，如词频-逆文档频率（TF-IDF），而现代方法使用神经网络架构和大语言模型来捕捉语义上下文。关键词提取与主题建模等相关任务不同，它生成显式、可读的术语，而非抽象的潜在主题。
历史发展
自动化关键词提取的起源可追溯至20世纪50年代和60年代，当时施乐帕克研究中心及其他机构的研究人员开始探索自动索引。IBM研究员Hans Peter Luhn于1958年提出了首批方法之一，利用词频和位置来识别重要术语。这一统计方法为后续发展奠定了基础。
在20世纪70年代和80年代，语言方法逐渐兴起，结合词性标注和句法分析来过滤候选短语。20世纪90年代见证了监督机器学习的兴起，如朴素贝叶斯和决策树等算法在标注数据集上训练。Karen Sparck Jones在词项加权方面的工作（尽管不在提供的列表中，但其影响力广受认可）对统计方法做出了重要贡献。
21世纪初引入了基于图的方法，最著名的是TextRank，它将PageRank算法应用于词共现网络。该方法由Rada Mihalcea和Paul Tarau于2004年开发，至今仍具影响力。随后几年带来了集成方法和特征丰富的分类器，最终进入当前基于Transformer模型的时期。
统计和语言方法
传统关键词提取依赖文本的统计特性。TF-IDF通过平衡词在文档中的频率与其在语料库中的稀有度来计算词项的重要性。另一种常见度量，卡方检验，评估词项-文档关联的统计显著性。这些方法计算效率高，适用于特定领域的语料库。
语言方法通过句法知识增强统计方法。词性模式，如形容词后接名词的序列，有助于识别候选短语。停用词移除和词干提取对文本进行规范化，而搭配检测则识别多词表达式。混合系统，如怀卡托大学开发的KEA（关键词提取算法）（不在列表中，但为已知示例），结合了朴素贝叶斯分类和语言过滤器。
基于图的方法将文档表示为网络，其中节点为词，边表示滑动窗口内的共现关系。TextRank算法基于节点连通性迭代排序，生成一组高分关键词。该方法无需训练数据即可捕捉全局文档结构，因此在无监督提取中广受欢迎。
机器学习方法
监督方法将关键词提取视为序列标注或分类问题。早期系统使用支持向量机和条件随机场，并采用手工特征，如词位置、频率和词性标签。2010年代带来了深度学习，循环神经网络和后来的Transformer架构提升了基准数据集上的性能。
现代方法利用预训练的大语言模型，如OpenAI和Google DeepMind开发的模型。这些模型通过针对提取任务的微调或通过提示模型输出相关术语来生成关键词。例如，模型可能被给定一篇文档并要求“列出五个最重要的关键词”。这种方法受益于模型广泛的语义知识，能有效处理同义词和上下文。
序列到序列模型，使用编码器-解码器架构，可以将关键词生成为标记序列。这些模型通常使用束搜索解码进行训练，生成的短语比基于分类的方法更连贯。然而，它们需要大量计算资源和大型训练语料库，这促使了高效微调技术的发展，如基于AI反馈的强化学习，以使输出与人类偏好对齐。
应用与挑战
关键词提取驱动着众多现实应用。搜索引擎使用它来索引网页并改进查询匹配。数字图书馆利用它进行自动元数据生成，使学者能够发现相关论文。社交媒体平台将其应用于趋势检测和内容推荐。在客户服务中，它通过识别问题主题帮助将支持工单路由到相应部门。
医疗保健领域使用关键词提取分析临床笔记和科学文献，支持循证医学。法律事务所将其应用于合同分析和判例法研究。金融机构监控新闻文章中的市场动向关键词。这些应用通常需要领域特定的调整，因为通用模型可能遗漏专业术语。
尽管该领域已成熟，关键词提取仍面临若干挑战。歧义仍然是个问题：同一词在不同上下文中可能有不同含义，多义性可能导致错误提取。多词表达式，如“机器学习”，在没有适当短语检测的情况下难以准确识别。领域适应是另一个问题，因为基于通用文本训练的模型可能在技术或小众语料库上表现不佳。
评估也非易事。SemEval等标准基准提供标注数据集，但人类标注者往往对什么是“好”关键词存在分歧。精确率、召回率和F1分数等指标常用，但它们可能无法捕捉语义等价性（例如，“AI”与“人工智能”）。近期研究探索使用大语言模型作为评估器，但这仍是一个活跃的研究领域。
未来方向
生成式AI的整合正在重塑关键词提取。模型不再仅仅选择现有术语，而是可以生成综合文本概念的新关键短语。这一能力由AI21 Labs和Inflection AI等系统展示，能够实现更抽象和全面的摘要。然而，它也引发了对幻觉的担忧，即模型生成看似合理但错误的关键词。
多语言和跨语言提取正受到关注，这源于处理全球内容的需求。零样本和少样本学习，即模型从未明确训练过的语言或领域提取关键词，是有前景的方向。使用数据增强技术为低资源语言创建合成训练数据是另一个活跃领域。
针对流式数据（如社交媒体动态或新闻通讯）的实时提取需要平衡准确性和延迟的高效算法。边缘计算和专用硬件，如AWS Trainium或Groq加速器，可能支持移动应用的设备端提取。随着人工智能系统更深入地融入日常工具，关键词提取将继续作为文本理解的基础组件而演进。