古典的単一言語における語義曖昧性解消（WSD）は、単一言語内で、周囲の文脈に基づいて単語の正しい語義を特定する計算タスクである。翻訳等価物を用いる言語横断的手法とは異なり、古典的WSDは辞書やシソーラスなどの語義目録に依存し、曖昧な単語の各出現に離散的な意味ラベルを割り当てる。この問題は、1980年代から2010年代初頭にかけて自然言語処理研究の中心的な焦点であり、Neural networkやLarge language modelアプローチの台頭により従来手法がほぼ取って代わられるまでの期間にわたった。
このタスクは通常、教師ありまたは知識ベースの分類問題として定式化される。教師ありWSDでは、システムは手動で注釈付けされたコーパスで訓練され、各曖昧な単語には事前定義された目録から正しい語義がラベル付けされる。一方、知識ベース手法は、WordNetや辞書定義などの語彙リソースを使用して、文脈と候補語義の間の類似性を計算する。評価は通常、SensevalやSemEvalなどのベンチマークデータセットに対して行われ、1998年以降、標準化されたテストセットを提供してきた。
歴史的発展
WSDの起源は1950年代の初期機械翻訳研究に遡るが、古典的時代は1980年代に機械可読辞書が利用可能になったことで始まった。Xerox PARCやMIT CSAILなどの機関の研究者は、辞書定義や例文を語義選択の証拠として使用することを探求した。この分野は、1985年にプリンストン大学でWordNetが作成されたことで勢いを増し、英語WSDの事実上の標準語義目録となる構造化語彙データベースを提供した。
1990年代には統計的手法が支配的になった。Yarowsky（1995）の先駆的研究は、談話ごとに一語義という仮説と、少数のシード付き例のみを使用して高い精度を達成するブートストラッピングアルゴリズムを導入した。この時期には、1998年に始まった最初のSenseval評価キャンペーンも見られ、厳密な比較ベンチマークを確立し、体系的な進歩を促進した。
2000年代には、サポートベクターマシンや決定木などの教師あり機械学習アプローチが台頭し、局所文脈、コロケーション、構文依存関係から導出された豊富な特徴セットに適用された。Carnegie Mellon Universityの研究者らによって開発されたシステムはリーダーボードの上位を一貫して占め、粗粒度タスクで約70%の精度を達成した。しかし、性能は頭打ちとなり、この分野は語義の粒度やドメイン適応の固有の難しさに苦慮した。
主要な手法とアルゴリズム
古典的WSD手法は大きく3つのカテゴリに分類される。知識ベース手法は、ラベル付きデータなしで外部リソースに依存する。1986年にMichael Leskによって提案されたLeskアルゴリズムは、辞書定義が文脈と最も大きな単語重複を持つ語義を選択する。変種は、情報量と分類学的距離に基づいて関連性を計算するJiang-ConrathやResnik指標などのWordNetからの意味的類似性尺度を使用してこれを改善した。
教師あり手法はWSDを分類問題として扱う。特徴工学は重要であり、一般的な特徴には周囲の単語（bag-of-words）、品詞タグ、構文関係が含まれた。Naive Bayes、最大エントロピーモデル、サポートベクターマシンなどのアルゴリズムが広く使用された。Senseval-2（2001）とSenseval-3（2004）の最良システムはこれらの手法を採用し、しばしばアンサンブル手法やドメイン固有の調整と組み合わせた。
ブートストラッピングおよび半教師あり手法は、ラベル付きデータの不足に対処した。Yarowskyのアルゴリズムは、小さなシードセットで分類器を反復的に訓練し、ラベルなしデータでの予測を使用して訓練セットを拡張し、談話ごとに一語義という制約を活用する。このアプローチは、少数のターゲット単語が多くの文脈で注釈付けされる語彙サンプルタスクで顕著な成功を収めた。
評価とベンチマーク
SensevalおよびSemEvalキャンペーンは主要な評価枠組みを提供した。Senseval-1（1998）は、語彙サンプルタスクと全単語タスクの両方を導入し、後者は連続テキスト内のすべての内容語を曖昧性解消することを要求する。Senseval-2、Senseval-3、SemEval-2007を含むその後の版は、タスクを洗練し、多言語トラックを追加した。英語の語彙サンプルタスクは通常20から40の曖昧な単語をカバーし、全単語タスクはウォールストリートジャーナルやWikipediaなどのソースからの連続テキストを使用した。
指標には適合率、再現率、F1スコアが含まれ、再現率はシステムが曖昧性解消を試みる単語の割合として計算されることが多い。最良の古典的システムは全単語タスクでF1スコア約65-70%を達成し、語彙サンプルタスクは限られた単語セットのためより高い精度に達した。顕著な課題は「知識獲得ボトルネック」であり、手動の語義注釈は高コストで、語義目録は人間と機械の両方が合意するのが難しい細かい区別を持つことが多かった。
限界と現代的アプローチへの移行
古典的WSDはいくつかの持続的な限界に直面した。固定された語義目録への依存は、システムをドメインや言語間で脆弱にした。「銀行」（金融機関と川岸）の異なるタイプを区別するなどの細かい語義は特に困難であり、注釈者間一致率は80%未満であることが多かった。さらに、特徴ベースのモデルは長距離の意味的文脈を効果的に捉えることができなかった。
2010年代の単語埋め込みの出現と、2018年のBERTなどのTransformer (architecture)モデルの登場は、この分野を変革した。これらのモデルは語義を暗黙的にエンコードする文脈表現を学習し、WSDデータセットでの微調整は大幅な改善をもたらし、全単語タスクで80%を超えるF1を達成することが多い。その結果、古典的WSD手法は現在主に歴史的関心の対象となっているが、語彙意味論の基礎を理解し、現代モデルが非現実的な低リソースシナリオにおいて関連性を保ち続けている。
遺産と影響
取って代わられたにもかかわらず、古典的WSDは現代のNLPに持続する基本的な概念に貢献した。語義目録と評価ベンチマークの考え方は、後のエンティティリンキングや意味役割ラベリングなどのタスクに影響を与えた。WSDで開拓されたブートストラッピングおよび半教師あり手法は、ラベル付きデータが限られたドメインで今も使用されている。さらに、語義の粒度や文脈依存性など、古典的WSDで特定された課題は、Large language modelの解釈可能性と評価に関する研究に情報を提供し続けている。