Transformerは、2017年に発表されたニューラルネットワークアーキテクチャであり、テキストなどのシーケンシャルデータを、以前のモデルが用いていたステップバイステップの再帰処理ではなくアテンション機構を用いて処理する。これにより、シーケンス全体を並列に処理することが可能となった。Transformerは、ほぼすべての現代的な大規模言語モデルの基盤となり、画像、音声、その他のデータタイプにも応用されている。
歴史
Transformer以前は、機械翻訳などのタスクにおけるシーケンスモデリングは、主にリカレントニューラルネットワーク、特にSeq2Seqエンコーダ・デコーダモデルに依存しており、これらは入力トークンを一度に一つずつ処理するため、並列化が難しく、長いシーケンスにわたって情報を保持することが困難であった。Transformerは、2017年の論文Attention Is All You Needにおいて、Ashish VaswaniやNoam Shazeerを含む研究者チームによって発表され、再帰処理を完全に廃止し、自己アテンションを採用することを提案した。この論文の著者8名全員が、その後、研究が行われた企業を離れ、他のAI企業を設立または参加しており、これは単一の研究論文としては異例の結果である。
アーキテクチャ
Transformerは、入力シーケンスをまずトークン化と埋め込みを通じてベクトル表現に変換し、その後、自己アテンション層を繰り返し適用する。自己アテンション層では、シーケンス内の各位置が他のすべての位置の関連性を重み付けすることができ、単純なフィードフォワード層と組み合わせられる。自己アテンションにはシーケンス順序の固有の概念がないため、Transformerは入力表現に位置情報を追加する。並列に動作する複数のアテンション「ヘッド」により、モデルは異なるタイプの関係を同時に捉えることができる。元のアーキテクチャは、別々のエンコーダとデコーダを使用していたが、現代のほとんどの大規模言語モデルは、デコーダのみの変種を使用しており、これは、以前に生成されたすべてのトークンに基づいて、一度に一つのトークンを生成する。
影響
Transformerの並列化可能性により、モデルはリカレントアーキテクチャが許容するよりもはるかに大規模なデータセットとパラメータ数で訓練することが可能となり、2018年のBERTからGPT-3以降に至るモデルのスケール駆動型進歩を直接的に可能にした。その自己アテンション機構は、原理的にはシーケンスとして表現できるあらゆるデータに適用可能であり、画像にも応用されてビジョントランスフォーマーを生み出し、また、現代の視覚言語モデルで使用されるテキストと画像を組み合わせたシステムにも応用された。
変種と代替
自己アテンションの計算コストはシーケンス長の二乗に比例して増加するため、効率重視の変種や、まったく異なるアーキテクチャが動機付けられている。Mixture of Expertsモデルは、任意の入力に対してTransformerのパラメータの一部のみを活性化し、モデルサイズに対する計算コストを削減する。状態空間モデル、例えば2023年に発表されたMambaアーキテクチャは、シーケンス長に対して二乗ではなく線形にスケールする代替案を提供するが、2020年代半ば時点では、フロンティア言語モデルにおいて支配的なアーキテクチャとしてTransformerを置き換えるには至っていない。