「Attention Is All You Need」は、Googleで働く8人の科学者とエンジニアによって執筆された、機械学習に関する2017年の研究論文である。この論文は、2014年にBahdanauらによって提案された注意機構に基づく、トランスフォーマーとして知られる新しい深層学習アーキテクチャを紹介した。トランスフォーマーアプローチは、大規模言語モデルを含む多種多様な人工知能システムの主要なアーキテクチャとなっている。当時、この研究は機械翻訳のための系列変換技術の改善に焦点を当てていたが、著者らは、質問応答や現在マルチモーダル生成AIとして知られるタスクなど、他のタスクへのこの技術の可能性を予見していた。
トランスフォーマーアーキテクチャを用いた初期の実験には、英語からドイツ語への翻訳、「The Transformer」に関するウィキペディア記事の生成、構文解析が含まれていた。これらのテストにより、チームはトランスフォーマーが翻訳専用ではなく、汎用の言語モデルであると確信した。2026年時点で、この論文は25万回以上引用されており、21世紀で最も引用された論文のトップ10に入っている。出版後、8人の著者は全員Googleを離れ、他の企業に加わるか、スタートアップを設立した。
背景
著者は、Ashish Vaswani、Noam Shazeer、Niki Parmar、Jakob Uszkoreit、Llion Jones、Aidan Gomez、Lukasz Kaiser、Illia Polosukhinである。8人全員が同等の貢献者であり、記載順はランダム化された。タイトルはビートルズの曲「All You Need Is Love」に由来する。「Transformer」という名前は、Jakob Uszkoreitがその言葉の響きを気に入ったために選ばれた。初期の設計文書は「Transformers: Iterative Self-Attention and Processing for Various Tasks」と題され、トランスフォーマーフランチャイズの6人のキャラクターのイラストが含まれていた。チームはTeam Transformerと名付けられた。
導入された手法
この論文は、現代のほとんどのLLMの基盤となるトランスフォーマーアーキテクチャを導入したことで最もよく知られている。それが好まれる主な理由は、先行アーキテクチャに対する並列化可能性にあり、GPUでのトレーニングを可能にし、より高速なトレーニング時間とより大規模なモデルを実現する。この論文では、いくつかの機構が導入された。
スケールドドット積注意機構と自己注意機構
この論文では、スケールドドット積注意機構を次のように説明している: Attention(Query, Key, Value) = softmax(Query × Key^T / sqrt(d_k)) × Value。ここで、Query、Key、Valueは行列であり、d_kはキーの次元（初期値は64）である。リカレントニューラルネットワーク（RNN）や長短期記憶（LSTM）の代わりに自己注意機構を使用することで、再帰が排除され、並列化可能性が保証される。翻訳において、Query行列とKey行列は通常、ソース言語の埋め込みに対応し、Valueはターゲット言語に対応する。
マルチヘッド注意機構
自己注意機構では、クエリ、キー、バリューが各入力系列に対して動的に生成され、モデルが異なる部分に焦点を当てることを可能にする。マルチヘッド注意機構は、複数の並列な注意ヘッドを導入し、各ヘッドがQ、K、Vの異なる線形射影を学習する。これにより、モデルは単語間の関係の異なる側面を同時に捉えることができる。
位置エンコーディング
トランスフォーマーには再帰がないため、この論文では、系列内のトークンの位置に関する情報を注入するための位置エンコーディングを導入した。これらのエンコーディングは入力埋め込みに追加され、モデルが順序情報を使用できるようにする。
影響と遺産
トランスフォーマーアーキテクチャは、OpenAI、Anthropic、Google DeepMindによって開発されたものを含む、現代のほとんどの大規模言語モデルの基盤となっている。その並列化可能性とスケーラビリティは、生成AIや他の分野の進歩を推進してきた。この論文の影響はその引用数に反映されており、21世紀で最も引用された論文の1つとなっている。
その後
論文の出版後、8人の著者は全員Googleを離れた。Aidan Gomez（Cohere）やNoam Shazeer（Character.AI、後にGoogleに復帰）など、スタートアップを設立した者もいた。他の者たちはNVIDIAやIntelなどの企業に加わった。彼らの離脱は、トランスフォーマーベースの研究の業界全体への普及に貢献した。