XLNetは、自然言語処理のために設計された自己回帰型Transformer (architecture)モデルであり、BERTの改良版として導入された。2019年6月19日にApache 2.0ライセンスの下で公開され、3億4000万のパラメータを持ち、330億語で訓練された。このモデルは、言語モデリング、質問応答、自然言語推論などのタスクで最先端の結果を達成し、Deep learning研究におけるLarge language modelアーキテクチャの顕著な例である。
BERTがマスク言語モデリングを使用するのとは異なり、XLNetは順列言語モデリングを採用している。このアプローチは、シーケンスの同時確率を可能なすべての順序で因数分解し、マスキングに依存せずに双方向の文脈を捉えることを可能にする。この設計は、BERTの限界に対処することを意図しており、BERTではマスクされたトークンが事前訓練中に見られないため、事前訓練と微調整の間に不一致が生じる。
順列言語モデリング
標準的な自己回帰モデリングでは、シーケンスの確率は固定された左から右への順序で因数分解される。例えば、「My dog is cute」という文は、条件付き確率の積としてモデル化される: Pr(My) Pr(dog|My) Pr(is|My, dog) * Pr(cute|My, dog, is)。XLNetは代わりに、トークン位置のランダムな順列をサンプリングし、その順序に従って確率を因数分解する。例えば、順列3-2-4-1の場合、モデルは「is」を最初に予測し、次に「dog」、「cute」、最後に「My」を予測し、それぞれが以前に予測されたトークンに条件付けられる。すべての順列で訓練することにより、モデルは両方向からの文脈を使用することを学習し、長距離依存関係を捉える能力を向上させる。
二重ストリーム自己注意
順列言語モデリングを実装するために、XLNetは二重ストリーム自己注意メカニズムを使用する。最初のストリームはコンテンツストリームと呼ばれ、標準的な因果的自己注意を使用して各トークンのコンテンツを符号化する。2番目のストリームはクエリストリームと呼ばれ、以前に予測されたトークンの文脈で各トークンのコンテンツを符号化し、クエリがクエリストリームから来て、キーと値のペアがコンテンツストリームから来るマスクされた交差注意を使用する。この設計により、モデルは自身のコンテンツを見ずにトークンを予測でき、順列順序で他のトークンのコンテンツを活用できる。
訓練と性能
XLNetは、3億4000万のパラメータを持つモデルを使用して、330億語の大規模なコーパスで訓練された。訓練プロセスには、順列言語モデリングとセグメント再順序付け目的の両方が含まれており、これによりモデルは文間の関係を学習できた。公開時点で、XLNetはスタンフォード質問応答データセット（SQuAD）、一般言語理解評価（GLUE）ベンチマーク、およびいくつかの読解タスクを含むさまざまなベンチマークでBERTを上回った。その成功は、順列ベースの事前訓練の有効性を示し、その後のGenerative AIおよびMachine learningの研究に影響を与えた。
影響と遺産
XLNetは、自己回帰アプローチと自己符号化アプローチの間のトレードオフを強調することにより、事前訓練済み言語モデルの進化に貢献した。BERTのマスキング戦略は双方向の文脈を可能にしたが、事前訓練と微調整の不一致を導入した。XLNetの順列アプローチは、自己回帰特性を維持しながら双方向の文脈を達成する方法を提供した。このアイデアは、Transformer-XLや他の変種などの後のモデルに組み込まれている。新しいアーキテクチャがXLNetの性能を上回っているが、Artificial intelligenceおよびNeural network研究の歴史において重要なマイルストーンであり続けている。
関連項目
- BERT（提供されたスラッグにはないが、Transformer (architecture)としてリンク可能）
- Large language model
- Deep learning
- Machine learning