情報抽出（IE）は、自然言語処理の一分野であり、非構造化または半構造化テキストから構造化情報を自動的に導き出すものである。これは、固有表現認識、関係抽出、イベント抽出などのタスクを含み、知識ベースの構築、質問応答システム、テキストマイニングアプリケーションの基盤となる。IEシステムは生のテキストを機械可読なデータに変換し、検索、推論、分析などの下流タスクを可能にする。
情報抽出の起源は1960年代から1970年代に遡り、ニューヨーク大学のLinguistic String Projectや、1970年代後半にイェール大学で開発されたFRUMPシステムなどの初期システムがある。この分野は1980年代に、米国国防高等研究計画局（DARPA）が資金提供した一連のコンペティションであるMessage Understanding Conferences（MUC）によって注目を集め、固有表現認識やテンプレート埋め込みなどの標準的なIEタスクが定義された。その後、1999年から2008年にかけて米国国立標準技術研究所（NIST）が運営したAutomatic Content Extraction（ACE）プログラムは、より複雑な注釈ガイドラインを用いて、エンティティ、関係、イベント抽出を含むように範囲を拡大した。
主要タスク
情報抽出は通常、いくつかのサブタスクを含む。固有表現認識（NER）は、人物、組織、場所、日付、数値表現などのエンティティの言及を識別する。関係抽出は、「勤務先」や「所在」などのエンティティ間の意味的関係を決定する。イベント抽出は、テキスト内で記述された出来事を識別し、イベントのトリガー、参加者、時間的属性を含む。共参照解決は、文書全体にわたる同じエンティティの異なる言及をリンクし、情報の集約に不可欠である。これらのタスクはしばしばパイプラインで実行されるが、現代のシステムではそれらを統合的にモデル化することもある。
手法とアプローチ
初期のIEシステムは、手作業によるルールと辞書に依存していた。例えば、1990年代にSRI Internationalで開発されたFASTUSシステムは、有限状態トランスデューサを用いてパターンを識別した。隠れマルコフモデルや条件付き確率場（CRF）などの統計的手法は2000年代に普及し、Stanford NERシステムがその例である。深層学習の登場により、ニューラルネットワークアーキテクチャ、特に再帰型ニューラルネットワークとその後のトランスフォーマーが最先端の結果を達成した。2018年にGoogleが発表したBERTのようなモデルは、文脈化された単語表現を使用し、エンティティと関係抽出の精度を大幅に向上させた。最近では、大規模言語モデル（LLM）がプロンプティングとファインチューニングを通じてIEに適用され、最小限のタスク固有トレーニングデータでゼロショットおよび少数ショット抽出を可能にしている。
応用
情報抽出は、産業界と研究の両方で広く使用されている。バイオメディカル分野では、システムが科学文献から遺伝子と疾患の関連や薬物相互作用を抽出し、創薬を支援する。金融分野では、IEがニュースやレポートを監視して、企業の収益、合併、リスク指標を抽出する。リーガルテクノロジーでは、IEを使用して契約書の条項や当事者を識別する。検索エンジンは、IEを活用してナレッジパネルや構造化スニペットを生成する。ソーシャルメディア分析では、IEを使用して製品の言及や世論を追跡する。抽出されたデータは、多くの場合、GoogleのKnowledge Graphなどの知識グラフに格納され、エンティティベースの検索機能を支えている。
課題と限界
進歩にもかかわらず、IEはいくつかの課題に直面している。多義性や共参照などの言語の曖昧さは、エラーを引き起こす可能性がある。ドメイン適応は依然として困難であり、あるドメイン（例えばニュース）で訓練されたモデルは、別のドメイン（例えば医療テキスト）に適用されると性能が低下することが多い。低リソース言語や専門用語には、十分なトレーニングデータがない。さらに、複雑な時間的・因果的関係を持つイベントの抽出は、依然として未解決の問題である。評価も、データセットやタスクによって注釈が異なるため、難しい。2020年代初頭の時点で、LLMはいくつかの問題を軽減したが、幻覚や抽出された事実の不整合などの新たな問題を導入している。
今後の方向性
現在の研究は、エンティティと関係の統合的抽出、グラフニューラルネットワークを使用した相互作用の捕捉、外部知識ベースを組み込んだ精度向上に焦点を当てている。また、以前の知識を忘れずに新しいドメインに適応するIEシステムである、インクリメンタル学習や生涯学習への関心もある。生成AIの台頭に伴い、会話的または指示追従的な方法でLLMをIEに使用し、抽出された情報が説明可能で信頼できることを保証する研究が増えている。IEと知識グラフ構築・推論の統合は依然として活発な分野であり、自動化された科学的発見やエンタープライズデータ管理への応用が期待されている。