SpanBERTは、2020年にCarnegie Mellon UniversityとStanford AI Labの研究者らによって導入された、Transformer (architecture)ベースのNeural networkアーキテクチャの変種です。これは、個々のマスクされたトークンではなく、連続するトークンのスパン全体を予測することに焦点を当てることで、元のBERTモデルを拡張しています。中核となる革新は、スパンマスキングとスパン境界予測（SBP）という2つのトレーニング目的にあります。スパンマスキングは、ランダムな連続トークン列を単一の[MASK]トークンに置き換え、モデルに周囲の文脈からスパン全体を推測させることを強制します。次にSBPは、マスクされたスパンの開始と終了にあるトークンの表現を使用して内部トークンを予測し、境界情報を活用します。この設計により、SpanBERTは、質問応答や共参照解決など、複数トークンのエンティティと関係の理解を必要とするタスクに特に効果的です。
アーキテクチャとトレーニング
SpanBERTは、BERTの標準的なTransformer (architecture)エンコーダーアーキテクチャを保持し、多層双方向エンコーダーを備えています。主な違いは、事前トレーニングのデータマスキング戦略にあります。個々のトークンの15%をランダムにマスクする代わりに、SpanBERTは幾何分布（平均3.8トークン）からスパン長をサンプリングし、その連続ブロック全体をマスクします。スパン長は10トークンに上限があります。このアプローチは、モデルがより長いシーケンス内の依存関係を捉えることを促進します。モデルは、BERTと同じ英語WikipediaとBooksCorpusデータセットでトレーニングされ、マスクされたスパンに対して同じマスク言語モデリング目的を使用しますが、追加のSBP損失が加わります。SBP目的は、スパンの最初と最後のトークン（マスク後）の隠れ状態を使用して内部トークンを予測し、境界情報を使用して内容を再構築することを効果的にモデルに教えます。
スパン境界予測
スパン境界予測は、SpanBERTで導入された新しい補助タスクです。各マスクされたスパンについて、モデルはスパンの直前のトークンと直後のトークンの出力表現を取得します。これら2つのベクトルは連結され、線形層を通過して各内部マスクトークンを予測します。これにより、モデルはスパンの境界を、内部の意味内容を捉える方法でエンコードすることを強いられます。各トークンを独立に扱うBERTのマスク言語モデリングとは異なり、SBPはモデルがスパンを単位として推論することを促進します。これは、回答がしばしば連続するテキストスパンである質問応答や、言及が典型的に複数トークンのフレーズである共参照解決などのタスクに特に有益です。
性能と影響
SpanBERTは、リリース時にいくつかのベンチマークで最先端の結果を達成しました。SQuAD 1.1およびSQuAD 2.0の質問応答データセットでは、BERTやRoBERTaなどの同時代のモデルを上回りました。また、OntoNotes共参照解決タスクとTACRED関係抽出データセットでも新記録を樹立しました。改善は、スパンレベルの推論を必要とするタスクで最も顕著であり、スパン焦点の事前トレーニングの有効性を確認しました。SpanBERTのアプローチは、スパンベースの表現学習におけるその後の研究に影響を与えました。連続スパンのマスキングと境界予測の使用が、特定の下流タスクにおいてトークンレベルのマスキングよりも効果的であることを実証しました。モデルのコードと事前トレーニング済みの重みは公開され、研究コミュニティでの採用を促進しました。
BERTおよびRoBERTaとの比較
SpanBERTは、主にマスキング戦略とSBPの追加においてBERTと異なります。BERTは個々のトークンをランダムにマスクしますが、SpanBERTはスパンをマスクします。もう1つの人気のある変種であるRoBERTaは、動的マスキングを使用し、次文予測目的を削除しますが、依然として個々のトークンをマスクします。SpanBERTのスパンマスキングは、長距離依存関係を捉えるためのより強力なトレーニング信号を提供します。直接比較では、SpanBERTはスパン関連タスクで一貫してBERTを上回り、同様のトレーニングデータサイズを使用しながら、質問応答と共参照でRoBERTaに匹敵するか、それを超えることがよくありました。重要なポイントは、マスキングの粒度の選択がNatural language processingにおける表現学習に大きく影響するということです。
応用と遺産
SpanBERTのアーキテクチャは、質問応答と共参照を超えたさまざまなMachine learningタスクに適用されています。エンティティの言及と関係の識別がスパンレベルの予測を必要とすることが多い情報抽出で使用されています。また、薬物間相互作用や遺伝子疾患関連の抽出など、生物医学テキストマイニングにも適応されています。スパンマスキングと境界予測の原則は、一部のLarge language model事前トレーニングパイプラインを含む他のモデルに組み込まれています。SpanBERT自体は、Generative AIシステムのような大規模モデルほど広く使用されていませんが、transformerベースのエンコーダーの進化における重要なマイルストーンであり続けています。スパンレベルの理解への焦点は、構造化予測タスクの改善を目指すより最近のモデルの設計に情報を提供しています。2020年代半ばの時点で、SpanBERTはスパン関連ベンチマークの強力なベースラインとして研究文献で依然として参照されています。
制限事項
SpanBERTにはいくつかの制限があります。スパンマスキング戦略は、スパン長分布の慎重な調整を必要とし、SBP目的は計算オーバーヘッドを追加します。モデルはまた、通常512トークンのtransformerの固定コンテキストウィンドウによって制限され、非常に長いドキュメントを処理する能力を制限する可能性があります。さらに、SpanBERTはエンコーダーのみのモデルであるため、テキスト生成用に設計されていません。生成タスクでの性能は、デコーダーベースのモデルと比較できません。これらの制約にもかかわらず、スパン表現学習へのSpanBERTの貢献は永続的であり、事前トレーニング目的のトレードオフを理解するための貴重な参照点として機能します。