信息抽取（IE）是自然语言处理中的一个领域，旨在从非结构化或半结构化文本中自动推导出结构化信息。它涵盖命名实体识别、关系抽取和事件抽取等任务，是构建知识库、问答系统和文本挖掘应用的基础。IE系统将原始文本转换为机器可读的数据，从而支持搜索、推理和分析等下游任务。
信息抽取的起源可以追溯到20世纪60年代和70年代，早期系统包括纽约大学的语言字符串项目和20世纪70年代末耶鲁大学开发的FRUMP系统。该领域在20世纪80年代随着消息理解会议（MUC）而获得 prominence，这是一系列由美国国防高级研究计划局（DARPA）资助的竞赛，定义了标准IE任务，如命名实体识别和模板填充。后来，美国国家标准与技术研究院（NIST）于1999年至2008年运行的内容自动抽取（ACE）项目，将范围扩展到实体、关系和事件抽取，并采用了更复杂的标注指南。
核心任务
信息抽取通常涉及多个子任务。命名实体识别（NER）识别实体提及，如人物、组织、地点、日期和数字表达式。关系抽取确定实体之间的语义关系，例如“工作于”或“位于”。事件抽取识别文本中描述的事件，包括事件触发词、参与者和时间属性。共指消解将文档中同一实体的不同提及联系起来，这对于信息聚合至关重要。这些任务通常以流水线方式执行，但现代系统可能联合建模。
方法与途径
早期IE系统依赖手工编写的规则和词典。例如，20世纪90年代SRI International开发的FASTUS系统使用有限状态转换器来识别模式。统计方法，如隐马尔可夫模型和条件随机场（CRF），在21世纪初变得流行，以斯坦福NER系统为代表。随着深度学习的出现，神经网络架构，特别是循环神经网络和后来的变换器，取得了最先进的结果。谷歌于2018年推出的BERT等模型使用上下文词表示，显著提高了实体和关系抽取的准确性。最近，大型语言模型（LLM）通过提示和微调被应用于IE，实现了零样本和少样本抽取，且只需最少的任务特定训练数据。
应用
信息抽取在工业界和学术界广泛使用。在生物医学领域，系统从科学文献中抽取基因-疾病关联和药物相互作用，有助于药物发现。在金融领域，IE监控新闻和报告以抽取公司收益、并购和风险指标。法律技术使用IE来识别合同中的条款和当事方。搜索引擎利用IE生成知识面板和结构化摘要。社交媒体分析采用IE来跟踪产品提及和公众情绪。抽取的数据通常填充知识图谱，如谷歌的知识图谱，该图谱支持基于实体的搜索功能。
挑战与局限
尽管取得了进展，IE仍面临若干挑战。语言中的歧义，如多义性和共指，可能导致错误。领域适应仍然困难：在一个领域（如新闻）训练的模型在应用于另一个领域（如医学文本）时往往会性能下降。低资源语言和专业术语缺乏足够的训练数据。此外，抽取具有复杂时间和因果关系的事件仍是一个开放问题。评估也很棘手，因为不同数据集和任务的标注各不相同。截至21世纪20年代初，LLM缓解了一些问题，但也引入了新问题，如幻觉和抽取事实的不一致性。
未来方向
当前研究聚焦于实体和关系的联合抽取，使用图神经网络来捕捉交互，并结合外部知识库以提高准确性。还有对增量学习和终身学习的兴趣，其中IE系统适应新领域而不遗忘先前知识。随着生成式AI的兴起，越来越多的工作致力于以对话或指令遵循方式使用LLM进行IE，并确保抽取的信息可解释且可信。IE与知识图谱构建和推理的整合仍是一个活跃领域，在自动化科学发现和企业数据管理方面具有潜在应用。