テキスト間変換フレームワークは、自然言語処理における手法であり、すべてのタスクを統一された形式、すなわち入力テキストが与えられるとモデルが出力テキストを生成する形式に再構成するものである。このアプローチは、2019年にGoogle AIによって導入されたT5（Text-to-Text Transfer Transformer）モデルによって広く知られるようになった。翻訳、要約、質問応答などのタスクを単一のテキスト間変換パラダイムに統合することで、このフレームワークはモデル設計を簡素化し、多様なタスク間での転移学習を可能にする。
T5モデルはエンコーダ・デコーダのトランスフォーマーアーキテクチャであり、エンコーダが入力テキストを処理し、デコーダが出力テキストを生成する。この設計は元のトランスフォーマーモデルに従うが、相対位置埋め込みや残差経路の外側に配置された層正規化などの修正が組み込まれている。このフレームワークの柔軟性により、文法誤り訂正からコード生成まで、幅広いタスクを処理できる。
訓練
元のT5モデルは、インターネットから収集されたテキストとコードの大規模データセットであるColossal Clean Crawled Corpus（C4）で事前訓練された。事前訓練では、モデルが破損したテキストを再構成することを学習するノイズ除去目的を使用し、欠落したスパンをマークするためにセンチネルトークンを用いた。例えば、「Thank you <X> me to your party <Y> week.」が与えられた場合、モデルは「<X> for inviting <Y> last <Z>」を出力することを学習する。ここで<Z>は出力の終わりを示す。
事前訓練後、T5モデルは特定の下流タスクに微調整できる。微調整により、モデルの一般的な言語理解が、チャットボット、機械翻訳、テキスト要約などのアプリケーションで良好に機能するように適応される。このフレームワークの統一形式により、微調整データも入力・出力テキストのペアとして構造化され、新しいタスクへの適用が容易になる。
アーキテクチャ
T5シリーズには様々なサイズのモデルが含まれ、すべてエンコーダ・デコーダ構造を共有している。元の論文では、small（60Mパラメータ）、base（220M）、large（770M）、3B、11Bの5つの構成が報告された。各モデルはエンコーダとデコーダに同じ数の層を持ち、例えばT5-smallは各6層である。主要なアーキテクチャの次元には、アテンションヘッド数、埋め込み次元、フィードフォワードネットワークサイズ、キー・バリュー次元が含まれる。特に、3Bと11Bモデルは、埋め込み次元がキー・バリュー次元とヘッド数の積に等しいという典型的な関係から逸脱している。
元のトランスフォーマーと比較して、T5は加算バイアスなしの層正規化を使用し、正規化を残差経路の外側に配置し、相対位置埋め込みを採用している。語彙サイズ32,000のWordPieceトークナイザーが入力と出力で共有され、C4からの英語、ドイツ語、フランス語、ルーマニア語の混合データで訓練された。
変種
その後、いくつかのモデルがT5アーキテクチャに基づいて構築され、しばしば非標準的な命名が用いられた。元のモデル（2019年）に続き、T5 1.1（GEGLU活性化と大規模サイズのXL/XXLへの改名を備えた改良版）が登場した。LM適応T5（2021年）は追加のC4トークンで訓練を継続した。Switch Transformer（2021年）は混合専門家変種を導入した。T0（2021年）はゼロショット指示追従に焦点を当てた。ByT5（2021年）はトークナイザーなしでバイトレベルのテキストを操作した。Flan-T5（2022年）は指示チューニングを追加した。UL2 20B（2022年）は20Bパラメータにスケールアップし、混合デノイザー目的を使用した。Pile-T5（2024年）はLlamaトークナイザーを使用し、The Pileで訓練された。
応用
T5フレームワークのエンコーダ・デコーダ設計により、指示追従が可能になる。エンコーダが指示を処理し、デコーダが自己回帰的に応答を生成する。T5エンコーダは、他のモデルのテキストエンコーダとしても機能し、条件付けのためのベクトル表現を生成できる。例えば、Google ImagenはテキストエンコーダとしてT5-XXLを使用し、AuraFlowはPile-T5-XLを使用する。これらの応用は、このフレームワークの汎用性が従来のNLPタスクを超えていることを示している。
テキスト間変換パラダイムは、その後の大規模言語モデルの開発に影響を与え、転移学習とマルチタスク訓練のための統一された入出力形式の利点を強調している。