ACE 2005，正式名称为自动内容提取2005评测数据集，是由美国国家标准与技术研究院（NIST）开发的多语种语料库，用于信息抽取研究。该数据集于2005年作为ACE项目的一部分发布，旨在推动自然语言文本中实体、关系和事件的检测与表征技术发展。该数据集已成为自然语言处理（NLP）领域的标准基准，尤其适用于命名实体识别、关系抽取和事件抽取等任务。
该语料库包含三种语言的标注文档：英语、中文和阿拉伯语。英语部分包括约600篇文档，来源涵盖新闻专线、广播新闻、广播对话和博客。中文和阿拉伯语部分规模较小，但来源同样多样。标注覆盖七种实体类型（如人物、组织、地点）、六种关系类型（如物理、部分-整体、个人/社会）和八种事件类型（如冲突、生活、运动）。每个实体提及均链接到规范实体，并在实体之间识别关系。事件标注包括触发词、论元和事件提及。
ACE 2005常与ACE 2004和ACE 2002数据集配合使用，但它是其中最新且应用最广泛的版本。该数据集对许多最先进系统的发展起到了关键作用，包括基于深度学习和大型语言模型的系统。该数据集由语言数据联盟（LDC）分发，目录编号为LDC2006T06。
标注方案
ACE 2005中的标注方案是分层的。实体被分类为粗粒度和细粒度类型。例如，人物实体可具有个体、群体或不定等子类型。关系按类型和子类型分类，论元为实体提及。事件更为复杂：每个事件提及具有触发词（唤起事件的词或短语）、论元（参与者和属性）以及情态（如断言、否定）。该数据集还包括跨文档共指，将不同文档中同一实体的提及关联起来。
研究应用
ACE 2005一直是信息抽取研究的主要基准。许多早期系统采用基于特征的方法，如支持向量机和最大熵模型。随着深度学习的兴起，双向LSTM和卷积网络等神经架构被应用于该任务。近期，基于变换器的模型，如BERT及其变体，在ACE 2005上取得了最先进的结果。该数据集还用于联合实体和关系抽取、事件抽取以及跨语言迁移学习。
局限性与批评
尽管ACE 2005广受欢迎，但其存在局限性。标注指南复杂，且数据集规模相对较小，可能导致过拟合。文档来自有限的时间段（2003-2004年），领域主要为新闻专线和广播，可能无法泛化到其他体裁。此外，不同语言的标注质量存在差异，且某些事件类型较为稀少。研究人员已提出扩展和替代方案，如TAC-KBP数据集和更新的ERE（实体、关系、事件）数据集。
相关数据集与遗产
ACE 2005是更广泛的ACE数据集家族的一部分，包括ACE 2002和ACE 2004。它影响了后续语料库的设计，如Rich ERE数据集和事件论元抽取数据集。该数据集仍是NLP社区的标准，其评估指标（如实体提及F1、关系F1、事件触发词和论元F1）被广泛使用。许多开源工具包，如Stanford CoreNLP和spaCy，提供了基于ACE 2005训练的实体和关系抽取模型。