アテンション機構は、ニューラルネットワークの構成要素であり、入力内の要素の重み付き組み合わせを、与えられた文脈に対するそれらの関連性に基づいて計算することで、モデルが入力の最も重要な部分に動的に焦点を当て、すべての要素を均等に扱うのではなく、選択的に処理できるようにするものである。アテンションは、トランスフォーマーアーキテクチャ、ひいては現代のほとんどの大規模言語モデルの中核となる計算上のアイデアである。
歴史
アテンションは、2014年から2015年頃にシーケンス・ツー・シーケンス機械翻訳モデルの文脈で導入され、リカレントニューラルネットワークベースのデコーダーが、各出力単語を生成する際に、入力文全体の単一の固定長要約ベクトルに依存するのではなく、エンコーダーのすべての隠れ状態を参照できるようにするものであった。これは、長い入力シーケンスから情報を失いがちだった初期のエンコーダー・デコーダーモデルの特定の弱点に対処するものであった。2017年の論文Attention Is All You Needは、アシシュ・ヴァスワニらが主導し、リカレンスを一切使わずにアテンション層のみで構築されたモデルが、リカレントアーキテクチャを上回る性能を発揮しつつ、訓練の並列化がはるかに容易であることを示し、トランスフォーマーの誕生につながった。
自己アテンション
トランスフォーマーで使われる主要な革新は自己アテンションであり、これはデコーダーが別のエンコーダーに注意を向けるのではなく、シーケンス内のすべての要素が同じシーケンス内の他のすべての要素に注意を向けるものである。各位置について、モデルはその位置の埋め込みから導出される、クエリ、キー、バリューと呼ばれる3つのベクトルを計算する。ある位置のクエリと他のすべての位置のキーとの類似度が、その他の位置のバリューが現在の位置の出力に寄与する重みを決定する。これにより、文を処理するモデルは、代名詞とそれが指す名詞のように、遠く離れた単語同士を直接関連付けることができ、リカレントネットワークのように多くの中間ステップを経由する必要がない。
変種
トランスフォーマーは通常、マルチヘッドアテンションを使用し、異なる学習済み射影を用いて複数のアテンション計算を並行して実行することで、構文構造や話題の類似性など、異なる種類の関係を同時に捉えることを可能にする。クロスアテンションは、あるシーケンスが別のシーケンスに注意を向けるもので、エンコーダー・デコーダートランスフォーマーや一部のマルチモーダルシステムで使用され、例えば、キャプションを生成するデコーダーが画像の符号化された領域に注意を向けることを可能にする。
実用的な重要性
アテンションの計算コストは、入力シーケンスの長さに応じて二次関数的に増大する。なぜなら、すべての位置が他のすべての位置と比較されなければならないからであり、これにより非常に長い入力の処理が高コストになり、効率重視のアテンション変種や状態空間モデルなどの代替アーキテクチャの動機となっている。このコストにもかかわらず、アテンションが入力の遠く離れた要素を直接関連付ける能力と、リカレンスと比較した並列化可能性により、大規模言語モデルが訓練される規模を解き放つ機構となり、モデルが単一のやり取りで注意を向けることができるテキスト量を決定するコンテキストウィンドウの成長も含まれる。