ACE 2005

ACE 2005は情報抽出研究で広く使用されるコーパスであり、エンティティ、関係、イベント抽出タスク用に注釈が付けられた英語、中国語、アラビア語の文書を含む。

ACE 2005、正式名称はAutomatic Content Extraction 2005評価データセットであり、情報抽出の研究のために米国国立標準技術研究所（NIST）によって開発された多言語コーパスである。これは、自然言語テキスト内のエンティティ、関係、イベントを検出し特徴付ける技術を進展させることを目的としたACEプログラムの一環として2005年に公開された。このデータセットは、自然言語処理（NLP）、特に固有表現認識、関係抽出、イベント抽出などのタスクにおける標準的なベンチマークとなっている。

このコーパスは、英語、中国語、アラビア語の3言語で注釈が付けられた文書で構成されている。英語部分には、ニュースワイヤー、放送ニュース、放送会話、ウェブログなど、さまざまなソースから得られた約600の文書が含まれる。中国語とアラビア語の部分はより小規模であるが、同様に多様である。注釈は、7つのエンティティタイプ（例：人物、組織、場所）、6つの関係タイプ（例：物理的、部分全体、個人/社会的）、8つのイベントタイプ（例：紛争、生活、移動）をカバーしている。各エンティティ言及は正規エンティティにリンクされ、関係はエンティティ間で識別される。イベント注釈には、トリガー、引数、イベント言及が含まれる。

ACE 2005は、ACE 2004およびACE 2002データセットと併用されることが多いが、最も新しいものであり、最も広く採用されている。これは、深層学習や大規模言語モデルに基づくものを含む、多くの最先端システムの開発に貢献してきた。このデータセットは、Linguistic Data Consortium（LDC）によってカタログ番号LDC2006T06で配布されている。

注釈スキーム

ACE 2005の注釈スキームは階層的である。エンティティは粗いタイプとサブタイプに分類される。例えば、人物エンティティには、個人、グループ、不定などのサブタイプがあり得る。関係はタイプとサブタイプに分類され、引数はエンティティ言及である。イベントはより複雑であり、各イベント言及にはトリガー（イベントを喚起する単語またはフレーズ）、引数（参加者と属性）、およびモダリティ（例：断定、否定）がある。データセットには、異なる文書にわたる同一エンティティの言及をリンクする文書横断共参照も含まれる。

研究での使用

ACE 2005は、情報抽出研究の主要なベンチマークとなっている。多くの初期システムは、サポートベクターマシンや最大エントロピーモデルなどの特徴ベースのアプローチを使用していた。深層学習の登場により、双方向LSTMや畳み込みネットワークなどのニューラルアーキテクチャが適用された。最近では、BERTおよびその変種などのトランスフォーマーベースのモデルが、ACE 2005で最先端の結果を達成している。このデータセットは、エンティティと関係の同時抽出、イベント抽出、および言語横断転移学習にも使用される。

制限と批判

その人気にもかかわらず、ACE 2005には制限がある。注釈ガイドラインは複雑であり、データセットは比較的小さいため、過学習につながる可能性がある。文書は限られた期間（2003-2004年）のものであり、ドメインは主にニュースワイヤーと放送であり、他のジャンルには一般化できない可能性がある。さらに、注釈の品質は言語によって異なり、一部のイベントタイプはまれである。研究者は、TAC-KBPデータセットや、より新しいERE（エンティティ、関係、イベント）データセットなどの拡張および代替案を提案している。

注釈スキーム

研究での使用

制限と批判

関連データセットと遺産

関連項目