「Attention Is All You Need」は、2017年の研究論文であり、Transformerアーキテクチャを導入したものである。これは、再帰や畳み込みではなく、アテンション機構のみに基づいて構築されたニューラルネットワーク設計である。2017年6月12日にarXivプレプリントとして公開され、同年後半のNeurIPS会議で発表された。著者はGoogleの8人の研究者で、Ashish Vaswani、Noam Shazeer、Aidan Gomez、Illia Polosukhin、Jakob Uszkoreit、Llion Jones、Lukasz Kaiser、Niki Parmarである。これはコンピュータ科学において最も引用された論文の1つであり、現代の大規模言語モデルの発展における最も重要な出版物として広く認識されている。
背景
Transformer以前は、機械翻訳などのタスクにおける最先端の自然言語処理システムは、再帰アーキテクチャ、多くの場合LSTMに依存しており、テキストを逐次的に処理し、初期の系列変換研究から借用したアテンション層を追加していた。逐次処理は訓練が遅く、長距離依存関係の捕捉に苦労していた。著者らは、再帰を完全に自己アテンションに置き換えることを提案し、モデルが系列内のすべてのトークンと他のすべてのトークンとの関連性を並列に重み付けできるようにした。これにより、GPUでの訓練が高速化され、長距離構造のモデリングが改善された。
アーキテクチャと影響
この論文の設計、すなわち位置エンコーディングで再帰を代替した自己アテンションとフィードフォワード層のエンコーダ・デコーダスタックは、その後のほぼすべての主要モデルのテンプレートとなった。BERTは言語理解のためにエンコーダ側を適応させ、GPTスタイルのモデルは次トークン予測で訓練されたデコーダのみの変種を採用した。このアーキテクチャは異常にスケールしやすく、スケーリング則研究に直接つながり、データ、パラメータ、計算量の増加による予測可能な性能向上を示し、後にテキスト、視覚、音声、マルチモーダル領域にわたる基盤モデルの基盤となった。
遺産
この論文について頻繁に繰り返される事実は、8人の元著者全員が最終的にGoogleを去り、他のAI企業を設立または参加したことである。Noam ShazeerはCharacter.AIを共同設立し、後にGoogleに戻り、Aidan GomezはCohereの最高経営責任者となった。この論文の引用数は、公開から10年未満で数万件に成長し、Transformerは2020年代半ば現在でもフロンティアモデルの背後にある支配的なアーキテクチャであり続けている。研究者たちは特定の効率トレードオフのために状態空間モデルなどの代替案を探求し続けているが。