T5（Text-to-Text Transfer Transformer）は、Google AIによって開発され、2019年に発表された一連の大規模言語モデルである。T5の中心的な設計原理は、すべての自然言語処理タスクを単一のテキスト間形式に統合することである。つまり、翻訳、要約、質問応答など、あらゆるタスクが、入力テキストを受け取り出力テキストを生成するものとして構成される。これは、タスク固有の出力ヘッドやアーキテクチャをしばしば用いていた初期のモデルとは対照的である。元のTransformerモデルと同様に、T5モデルはエンコーダー・デコーダー構造を採用しており、エンコーダーが入力テキストを処理し、デコーダーが出力テキストを生成する。
元のT5モデルは、ウェブから収集されたテキストとコードを含むデータセットであるColossal Clean Crawled Corpus（C4）で事前学習される。この事前学習により、モデルは一般的な言語理解と生成能力を獲得する。事前学習後、T5モデルは特定の下流タスクにファインチューニングでき、学習済みの表現を適応させることで、チャットボット、コード生成、ロボット工学など、さまざまなアプリケーションで優れた性能を発揮する。
事前学習タスク
T5モデルの事前学習は、すべて入力テキストに続いて出力テキストという形式で構成された、多様なタスクセットで実行される。主要なタスクの1つはテキスト復元であり、入力の一部がセンチネルトークン（<X>や<Y>など）に置き換えられ、モデルは元のテキストを再構築する必要がある。例えば、入力「Thank you <X> me to your party <Y> week.」は、「<X> for inviting <Y>」を生成することが期待され、センチネルトークンは欠落したスパンを示す。もう1つのタスクは機械翻訳であり、モデルはソース言語のテキストを与えられ、ターゲット言語の規制で翻訳を生成する必要がある。さらに、T5は文法的受容性判断などのタスクでも訓練され、モデルは文が言語学的に適切かどうかを判断する必要がある。
アーキテクチャ
T5シリーズは、さまざまなサイズの複数のモデルを含み、そのすべてがエンコーダー・デコーダー型Transformerである。エンコーダーは入力テキストを処理し、デコーダーは出力テキストを生成し、両コンポーネントは公開されているすべての構成で同じ数の層を共有する。元の2019年の論文では、T5-small、T5-base、T5-large、T5-3B、T5-11Bの5つのモデルバリアントが報告された。これらのモデルは、層の数、アテンションヘッド、埋め込み次元、フィードフォワードネットワークサイズが異なり、パラメータ数はT5-smallの約6000万からT5-11Bの110億まで及ぶ。
元のTransformerアーキテクチャと比較して、T5はいくつかの変更を導入した。層正規化は加算バイアスなしで適用され、層正規化は残差パスの外側に配置され、相対位置埋め込みが使用される。モデルはまた、英語、ドイツ語、フランス語、ルーマニア語のテキストを10:1:1:1の比率で混合して訓練された、語彙サイズ32,000の共有WordPieceトークナイザーを採用している。
アーキテクチャの詳細
T5シリーズは、エンコーダー・デコーダー型Transformer (architecture)アーキテクチャのみで構築されている。この設計では、エンコーダーが入力テキストを受け取り一連の隠れ表現を生成し、デコーダーがそれを使用して出力テキストをトークンごとに自己回帰的に生成する。各エンコーダー層とデコーダー層には、自己アテンション機構、クロスアテンション（デコーダー内）、フィードフォワードネットワークが含まれる。モデルは、相対位置埋め込みの使用と層正規化におけるバイアス項の除去において、元のTransformerと区別される。
より大きなバリアント（3Bおよび11Bパラメータ）では、モデルの次元は一般的な関係d_model = d_kv * n_heads（d_modelは埋め込み次元、d_kvはキー/バリュー次元、n_headsはアテンションヘッド数）に従わない。この設計選択により、モデルのスケーリングにより柔軟性がもたらされた。すべてのT5バリアントは同じトークナイザーを共有し、これはエンコーダーとデコーダー間で共有される。
バリアントと後続モデル
元のT5リリース後、いくつかのバリアントと派生モデルが開発され、しばしば非標準的な命名規則が使用された。T5 1.1は、元のReLUの代わりにGEGLU活性化関数を使用した改良版を導入し、3Bモデルと11BモデルをそれぞれXLとXXLに改名した。XLおよびXXLの形状もこのバージョンで変更された。
2021年にリリースされたLM適応T5モデルは、元のT5チェックポイントから初期化され、C4から追加の1000億トークンでさらに訓練された。同じく2021年に導入されたSwitch Transformerは、T5に混合専門家アプローチを適用し、標準のフィードフォワード層を専門家ベースの層に置き換えた。2021年にリリースされたT0モデルは、LM適応T5チェックポイントからファインチューニングされ、タスク指示のみを使用してゼロショット設定でタスクを実行した。同じく2021年のByT5は、トークン化されたテキストの代わりにUTF-8バイトで動作し、多言語C4データセットで訓練された。
2022年に導入されたFlan-T5-XLは、FLANデータセットでT5-XLチェックポイントを指示チューニングして作成された。同じく2022年のUL2は、T5アーキテクチャを使用するが、200億パラメータにスケールアップされ、C4で混合デノイザー目的で訓練された。これは偶然TPUクラスターで訓練された。2022年にリリースされたT5Xは、T5コードベースのJAXでの再実装であり、元の実装はTensorFlowとMeshTFを使用していた。
アプリケーションと影響
T5モデルは、その柔軟なテキスト間インターフェースにより、さまざまな自然言語処理タスクで広く採用されている。機械翻訳、要約、質問応答、文法誤り訂正などに適用されてきた。モデルが単一のフレームワーク内で複数のタスクを処理できる能力は、展開と実験を簡素化した。T5はまた、機械学習における後続のモデルファミリー、特に指示チューニングモデルと混合専門家アーキテクチャの開発に影響を与えた。そのエンコーダー・デコーダー設計は、後のモデルの設計に影響を与え続けているが、OpenAIやAnthropicなどの多くの後続の大規模言語モデルは、デコーダーのみのアーキテクチャを好んでいる。
元のT5論文は、GLUEやSuperGLUEを含むさまざまなベンチマークで強力な性能を報告し、テキスト間アプローチが最小限のタスク固有のエンジニアリングで多様なタスクにわたって最先端の結果を達成できることを実証した。T5コードベースと事前学習済みチェックポイントのリリースは、学術および産業の両方の環境での採用を促進した。
影響と遺産
T5は、すべてのNLPタスクをテキスト間問題として構成するという概念の普及に貢献し、このアイデアは後の指示チューニングモデルやマルチタスク学習フレームワークに影響を与えた。T5のリリースはまた、Transformerベースの言語モデルのスケーリングという広範な傾向に貢献し、バリアントは最大200億パラメータに達した。C4データセットとT5コードベースの利用可能性は、その後の研究のための基礎的なリソースを提供した。新しいアーキテクチャが登場しているが、T5のアーキテクチャと訓練パラダイムは、機械学習と深層学習における進行中の研究に情報を提供し続けている。