Transformer-XLは、2019年1月にカーネギーメロン大学とGoogle DeepMindの研究者らによって発表された、Transformerベースのニューラルネットワークアーキテクチャである。標準的なTransformerが入力シーケンスをセグメント単位で処理し、セグメント境界を超えた情報を失うという固定長コンテキストの制限に対処するよう設計された。セグメントレベルの再帰メカニズムと相対的な位置エンコーディング方式を導入することで、Transformer-XLは従来モデルよりもはるかに長いシーケンスにわたる依存関係をモデル化でき、発表当時、複数の言語モデリングベンチマークで最先端の結果を達成した。
このアーキテクチャは、「Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context」と題する論文で発表され、著者はZihang Dai、Zhilin Yang、Yiming Yang、Jaime Carbonell、Quoc Le、Ruslan Salakhutdinovである。モデル名は「extra long」コンテキストを処理できる能力に由来し、「XL」はextra longを表す。オープンソースソフトウェアとしてリリースされ、PyTorchとTensorFlowによる実装が提供され、後の大規模言語モデルやシーケンス処理システムの基盤コンポーネントとなった。
セグメントレベルの再帰
Transformer-XLの中核となる革新は、セグメントレベルの再帰であり、現在のセグメントを処理する際に、前のセグメントの隠れ状態を再利用できるようにする。標準的なTransformerでは、各セグメントは独立に処理され、モデルのメモリはセグメント境界ごとにリセットされるため、コンテキストはセグメント長に制限される。Transformer-XLは代わりに、前のセグメントの隠れ状態をキャッシュし、現在のセグメントのアテンション層への追加コンテキストとして供給する。
この再帰メカニズムは、セグメントをまたいで持続する一種のメモリを生み出し、モデルが複数のセグメントにまたがる長距離依存関係を捕捉できるようにする。例えば、言語モデリングにおいて、前のセグメントで導入された代名詞やトピックは、その距離がセグメント長を超える場合でも、後のセグメントで正しく解決できる。再帰は各層で適用され、前のセグメントの隠れ状態が現在のセグメントの状態と連結されてから、アテンションが計算される。
相対位置エンコーディング
2つ目の重要な貢献は、元のTransformerで使用されていた絶対位置エンコーディングを置き換える、相対位置エンコーディングの使用である。標準的なTransformerでは、各トークンの位置は固定ベクトルでエンコードされ、アテンションスコアは絶対位置に基づいて計算される。このアプローチは、セグメントが再利用される場合に問題を引き起こす。なぜなら、異なるセグメント内の同じトークンは異なる絶対位置を持つため、モデルが混乱するからである。
Transformer-XLは代わりに、トークン間の相対距離をエンコードし、モデルがトレーニング中に見たものよりも長いシーケンスに一般化できるようにする。相対エンコーディングはアテンション計算に統合され、コンテンツベースと位置ベースの項に別々の学習可能なパラメータが使用される。この設計は、セグメント再利用の問題を解決するだけでなく、絶対位置に関係なく相対距離が意味を持つため、モデルのより長いコンテキストへの外挿能力も向上させる。
パフォーマンスとベンチマーク
Transformer-XLは、複数の言語モデリングデータセットにおいて、従来の最先端モデルを大幅に上回る改善を達成した。WikiText-103ベンチマークでは、パープレキシティを以前の最良モデルが達成した20.5から18.3に低減し、顕著な改善を示した。enwik8データセットでは、ビット毎文字スコア0.99を達成し、以前の再帰型および畳み込みモデルを上回った。また、One Billion Wordベンチマークでも良好な成績を収め、パープレキシティ21.8という新記録を樹立した。
モデルの長いコンテキストを処理する能力は、テキスト生成や文書レベルの分類など、メモリを必要とするタスクで特に顕著であった。その再帰メカニズムにより、数千トークンにわたって一貫性を維持でき、これは以前は深層学習モデルにとって困難だった能力である。これらの結果により、Transformer-XLはシーケンスモデリングのマイルストーンとして確立され、現代の生成AIシステムで使用されるエンコーダー・デコーダーモデルを含む、その後のアーキテクチャに影響を与えた。
影響と遺産
Transformer-XLの設計原則は、後のモデルによって採用され、拡張された。セグメントレベルの再帰のアイデアは、XLNetなどのモデルで使用されるTransformer-XLベースのアーキテクチャに組み込まれ、置換言語モデリングと組み合わせて事前学習が行われた。相対位置エンコーディング方式も、その後の多くのTransformer変種で標準的なコンポーネントとなり、OpenAIのGPT-2やそれ以降のモデルで使用され、簡略化されたバージョンの相対アテンションが採用された。
長距離依存関係への焦点は、スパースアテンションやスライディングウィンドウアテンションなど、より効率的なアテンションメカニズムの開発に貢献し、完全な2次コストなしで長いコンテキストを捕捉することを目指した。Transformer-XLはまた、効率的なシーケンスモデリングにおける多くの研究努力のベースラインとして機能し、そのオープンソース実装は学界と産業界の両方での広範な採用を促進した。
技術的詳細と変種
Transformer-XLは標準的なTransformerエンコーダー・デコーダーフレームワークに基づいているが、言語モデリングでは通常、デコーダーのみのモデルとして使用される。再帰メカニズムは自己アテンション層に適用され、隠れ状態キャッシュサイズは、履歴コンテキストの量を制御するハイパーパラメータである。モデルはトレーニングの安定性のために層正規化、ドロップアウト、勾配クリッピングを使用し、最適化アルゴリズムとしてAdamを採用している。
効率を改善するために、ヘッドごとに最適なコンテキスト長を学習する適応アテンションスパンなど、いくつかの変種が提案された。このモデルはまた、外部メモリモジュールを使用して非常に長いシーケンスにわたって情報を保存および取得する、メモリ拡張Transformerの開発にも影響を与えた。Transformer-XL自体はもはや最先端ではないが、その貢献は現代のシーケンスモデルの設計に不可欠であり、その原理は高度な機械学習コースで教えられている。
評価と応用
リリース時、Transformer-XLはその強力な実証結果と概念的な明快さで注目を集めた。言語モデリングと長距離シーケンス処理の文献で広く引用された。このモデルは、長期的な依存関係が重要となる時系列予測や音楽生成など、言語以外のタスクにも適用された。数千トークンまでのシーケンスを処理できる能力により、複数の段落にまたがるコンテキストが必要な要約や質問応答などの文書レベルのタスクに適していた。
このアーキテクチャはまた、効率的な推論システムの設計にも影響を与えた。再帰メカニズムにより、コンテキスト全体を再計算せずにストリーミングデータをインクリメンタルに処理できるためである。この特性は、音声認識やオンライン翻訳などのリアルタイムアプリケーションにとって価値があった。スパースアテンションを備えた大規模言語モデルなどの新しいアーキテクチャが、規模とパフォーマンスの点でTransformer-XLを超えているが、その遺産は、導入された基本的な技術に今も残っている。
関連項目
参考文献
- Dai, Z., Yang, Z., Yang, Y., Carbonell, J., Le, Q., & Salakhutdinov, R. (2019). Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context. arXiv:1901.02860.
- 公式実装とドキュメントはGitHubで入手可能。