TACRED（TAC関係抽出データセット）は、自然言語処理における関係抽出タスクのための広く使用されるベンチマークデータセットである。2017年にスタンフォード大学とアレン人工知能研究所の研究者によって導入された。このデータセットは、エンティティペアとそれに対応する意味的関係が注釈付けされた大量の文を提供し、特に機械学習および深層学習技術に基づく関係抽出モデルの開発と評価のための標準的なテストベッドとして機能する。
このデータセットは、TAC KBP（知識ベース構築）評価、具体的には2009年から2012年の年次コンペティションから構築された。106,264文を含み、各文にはクエリエンティティペア（主語と目的語）と関係ラベルが対応付けられている。関係は、事前に定義された41種類のセットから抽出され、18の一般的な関係（例：per:spouse、org:founded_by）と、TAC KBPタスクに固有の23の関係（例：per:title、org:top_members/employees）が含まれる。さらに、定義された関係のいずれも表現しないエンティティペアには特別な「no_relation」ラベルが使用され、これがインスタンスの大部分を占める。
TACREDは、その規模と複雑さで注目に値する。各文はニュース記事やウェブテキストからの実世界のテキスト抜粋であり、言語的変動性、長距離依存関係、および世界知識の必要性により、タスクは困難である。データセットは、トレーニング（68,124文）、開発（22,631文）、テスト（15,509文）セットに分割され、分割間の文書の重複を避けることに注意が払われ、現実的な評価を保証している。
TACREDの主要な評価指標はマイクロ平均F1スコアであり、全関係タイプにわたって適合率と再現率のバランスを取る。初期のベースラインモデル、例えば手作業の特徴を用いたロジスティック回帰は、F1スコア約50〜60%を達成した。ニューラルネットワークモデル、特にトランスフォーマーアーキテクチャを使用するものの導入により、大幅な改善がもたらされた。例えば、Zhangら（2019年）によるBERTベースのモデルはF1スコア71.5%を達成し、より洗練された注意機構と外部知識を備えた後続モデルはスコアを80%以上に押し上げた。
構築と注釈
このデータセットは、TAC KBPソースコーパス（ニュースワイヤーとウェブテキストを含む）から文を自動的に抽出して作成された。各文書について、エンティティ言及は名前付きエンティティ認識器を使用して識別され、エンティティのペアが候補関係インスタンスとして選択された。その後、人間の注釈者が詳細な注釈ガイドラインに従って、各文に適切な関係をラベル付けした。注釈プロセスには、不一致の裁定を含む複数回の品質管理ラウンドが含まれ、高い注釈者間一致を確保した。最終データセットには、文と関係ラベルに加えて、文内の主語および目的語エンティティの位置も含まれ、これはモデルのトレーニングに不可欠である。
研究における影響と使用
TACREDは、関係抽出コミュニティにおける標準的なベンチマークとなっている。伝統的な特徴ベースの分類器から現代の大規模言語モデルベースのアプローチまで、幅広いモデルの評価に使用されてきた。このデータセットは、少数ショット関係抽出や文書レベルの関係抽出などのいくつかの派生タスクも生み出し、研究者はTACREDを適応させて汎化能力をテストしている。さらに、TACREDは、常識的または事実的推論を必要とする関係のパフォーマンスを向上させるために、Wikidataなどの外部知識ベースをニューラルモデルに組み込む研究の進展に大きく貢献してきた。
制限と批判
その人気にもかかわらず、TACREDには既知の制限がある。データセットは他のNLPベンチマークと比較して比較的小さく、その関係タイプはTAC KBPによって定義されたものに限定されており、オープンドメインテキストにおける関係の多様性を完全にはカバーしていない可能性がある。さらに、データセットには注釈エラーが含まれていることや、評価プロトコルが実世界のパフォーマンスを完全には反映していない可能性があることが批判されている。いくつかの研究では、モデルがエンティティタイプ情報に依存するなど、データセット固有のバイアスを利用して高いスコアを達成できることが示されており、実際の関係セマンティクスを学習していないことが明らかになっている。これらの問題は、TACREV（TACREDの再注釈版）やRe-TACREDなどの新しいデータセットの作成を動機付け、これらの欠点の一部に対処することを目指している。
関連研究と拡張
TACREDは、より広範な関係抽出データセット群の一部である。これは、19の関係タイプの小さなセットに焦点を当てたSemEval-2010 Task 8データセットや、遠隔監視を使用するNYT-FBデータセットと密接に関連している。FewRelやTACREVなどのより最近のデータセットは、TACREDの構造に基づいて少数ショット学習を探求し、よりクリーンな注釈を提供している。生成AIの時代において、TACREDはOpenAIのGPTシリーズなどのモデルがゼロショットまたは少数ショット方式で関係抽出を実行する能力を評価するためにも使用されており、微調整された小規模モデルと比較して競争力のある結果を示すことが多い。
関連項目
- 人工知能
- 自然言語処理（注：提供リストにはないが、関連する）
- スタンフォードAIラボ
- 機械学習