エンティティリンキング（entity linking、別名エンティティ解決または固有表現曖昧性解消）は、人、組織、場所などの実世界のオブジェクトへのテキスト中の言及を、構造化知識ベース、典型的にはWikidataやWikipediaのような知識グラフ内の対応するエントリに接続する自然言語処理タスクである。その目的は曖昧性を解消することにある。例えば「Washington」という言及は、米国の州、都市、人物、または新聞を指し得る。エンティティリンキングシステムは、文脈に基づいて意図された指示対象を決定し、それにより自由形式のテキストを機械可読な表現に接地させる。
このタスクは、固有表現認識（NER）における初期の研究から生まれた。NERはテキストのスパンをエンティティとして識別するが、それらに一意の識別子を割り当てることはない。エンティティリンキングは、曖昧性解消ステップを追加することでNERを拡張し、周囲の単語、エンティティ型の一貫性、候補エンティティの事前確率などの特徴をしばしば使用する。これは情報抽出パイプラインにおける基盤的構成要素であり、質問応答、関係抽出、知識ベース構築などの下流アプリケーションを可能にする。現代のAIシステムでは、エンティティリンキングは検索拡張生成も支援し、大規模言語モデルが外部知識源を参照して、より正確で検証可能な応答を生成することを可能にする。
歴史的発展
エンティティリンキングのルーツは1990年代から2000年代初頭に遡り、情報検索やテキストマイニングに取り組む研究者たちが名前の曖昧性の問題に取り組み始めた。初期のシステムは手作りのルールと語彙的マッチングに依存していたが、大規模な評価キャンペーンの導入によりこの分野は勢いを増した。テキスト分析会議（TAC）とその前身であるメッセージ理解会議（MUC）は、固有表現を知識ベースにリンクすることを要求するタスクを含んでいた。2009年、TAC-KBP（知識ベース構築）トラックはエンティティリンキングを独立した評価として正式に確立し、ベンチマークデータセットを提供して体系的な進歩を推進した。
2010年代には、統計的および機械学習アプローチが主流となり、bag-of-words文脈、エンティティの人気度、グラフベースの尺度などの特徴を使用した。AIDAやDBpedia Spotlightなどのシステムが広く使用されるようになった。2010年代半ばの深層学習の出現により、言及とエンティティの密な表現を学習するニューラルモデルがもたらされ、曖昧なケースでの精度が向上した。2010年代後半までに、BERTとその後継モデルを含むトランスフォーマーベースのモデルが、豊かな文脈意味論を捉えることで新たな最先端の結果を打ち立てた。
主要な課題
エンティティリンキングはいくつかの固有の困難に直面している。最も顕著なものは曖昧性である。多くのエンティティ名は多義的であり、正しい指示対象は微妙な文脈的手がかりに依存することが多い。例えば、「Apple」は果物、テクノロジー企業、またはレコードレーベルを指す可能性がある。逆に、単一のエンティティが「JFK」、「John F. Kennedy」、「President Kennedy」などの複数の表面形を持つ場合があり、別名解決が必要となる。
もう一つの課題は知識ベースの不完全性である。多くの実世界のエンティティはまだ表現されておらず、「NIL」言及の問題を引き起こす。そこではシステムが新しいエントリを作成するか、言及を未解決のままにするかを決定しなければならない。さらに、エンティティリンキングは、ソーシャルメディアの投稿や音声文字起こしなど、綴りの誤りや非公式な言語が一般的なノイズの多いテキストを処理する必要がある。言及が一方の言語で知識ベースが他方の言語である言語横断的エンティティリンキングは、さらなる複雑さを加える。
方法と技術
伝統的なエンティティリンキングアプローチは、候補生成、候補ランキング、そして任意でリンク不可能な言及の予測というパイプラインに従う。候補生成は、文字列マッチング、別名テーブル、または検索インデックスを使用して、知識ベースから可能なエンティティのセットを取得する。候補ランキングは、文脈類似性、エンティティの人気度、型の互換性などの特徴を使用して各候補をスコアリングする。グラフベースの方法は知識ベースの構造を活用し、PageRankやパーソナライズドPageRankなどのアルゴリズムを使用して関連エンティティ間で証拠を伝播させる。
ニューラルおよび深層学習の方法は、特徴ベースのアプローチを大部分置き換えている。現代のシステムはトランスフォーマーエンコーダーを使用して、言及とエンティティの文脈化された埋め込みを生成する。一部のモデルは共有空間で言及とエンティティの表現を共同で学習し、他のモデルは言及の文脈とエンティティの説明を連結するクロスエンコーダーを使用する。最近の研究では、シーケンス間モデルがエンティティ識別子を直接生成する生成的アプローチや、密なパッセージ検索とエンティティリンキングを組み合わせた検索拡張方法が探求されている。OpenAIやAnthropicによって開発されたものなどの大規模言語モデルも、ゼロショットまたは少数ショット方式でエンティティリンキングに適用されているが、曖昧なケースでの信頼性は依然として活発な研究領域である。
応用と影響
エンティティリンキングは、知識グラフの構築と維持に不可欠である。Google Cloudや他のクラウドプラットフォームでは、エンティティリンキングサービスがAPIとして提供され、開発者がカスタムモデルを構築せずに非構造化テキストを強化できるようにしている。検索エンジンはエンティティリンキングを使用してクエリを理解し、ナレッジパネルを表示する。生物医学分野では、エンティティリンキングは遺伝子、薬物、疾患への言及をUMLSなどのオントロジーに接続し、文献マイニングや臨床意思決定支援を支援する。
Artificial intelligenceとMachine learningの文脈では、エンティティリンキングは自然言語と構造化データの間の橋渡しとして機能する。これは質問応答システムにおける重要な構成要素であり、質問内のエンティティをリンクすることで知識ベースから関連事実を取得するのに役立つ。また、主張を検証可能な情報源に接地することで、事実確認や誤情報検出を支援する。Large language modelシステムがより普及するにつれて、エンティティリンキングは生成されたテキストを外部知識に固定することで幻覚を減らすためにますます使用されている。
評価とベンチマーク
エンティティリンキングの標準的な評価指標は精度であり、ゴールドスタンダードのエンティティに正しくリンクされた言及の割合として定義される。しかし、多くの言及がリンク不可能な場合、この指標は誤解を招く可能性があるため、全言及に対するマイクロ平均精度や文書に対するマクロ平均精度などの変種も使用される。TAC-KBPデータセット、CoNLL-YAGO、AIDA-CoNLLコーパスなどのベンチマークは、比較のための共通基盤を提供する。Zero-Shot Entity Linkingデータセットのような最近のベンチマークは、未見のエンティティやドメインへの一般化をテストする。
顕著な進歩にもかかわらず、エンティティリンキングは依然として未解決の問題であり、特にロングテールエンティティ、低リソース言語、新しいエンティティが頻繁に出現する動的ドメインにおいて顕著である。将来の研究方向には、エンドツーエンドのニューラルモデルとのより緊密な統合、マルチモーダル信号の活用、継続的に進化する知識ベースで動作できる方法の開発が含まれる。