エンコーダー・デコーダーアーキテクチャは、Deep learningにおけるシーケンス間タスクのための基盤的枠組みであり、入力と出力の両方が可変長シーケンスである。これは、入力シーケンスを固定次元のコンテキスト表現に処理するエンコーダーと、そのコンテキストから出力シーケンスを生成するデコーダーという、接続された2つのニューラルネットワークで構成される。この設計により、機械翻訳、テキスト要約、質問応答など、入力と出力の長さが異なることが多いタスクをモデルが処理できるようになる。2010年代半ばに導入され、このアーキテクチャは現代のNeural network研究の要となり、多くの現代のLarge language modelシステムの基盤となっている。
エンコーダー・デコーダー枠組みは、2014年にSamy BengioやYoshua Bengio（ただし後者は提供されたリストには含まれていない）を含む研究者らによって、統計的機械翻訳にリカレントニューラルネットワークを適用した論文で初めて形式化された。重要な革新は、ソース文全体を固定長ベクトルにマッピングし、デコーダーがそれを使用してターゲット文を生成できるようにしたことである。このアプローチは、以前のフレーズベースの統計的手法を置き換え、翻訳品質の大幅な改善を示した。その後の研究では、アテンションメカニズムが導入され、デコーダーが入力の関連部分に焦点を当てることが可能になり、長いシーケンスに対する固定長コンテキストの制限に対処した。
歴史的発展
エンコーダー・デコーダーのアイデアは、Machine learningやArtificial intelligenceにおける初期の研究に遡るが、その実用的な成功は深層学習の台頭とともに訪れた。2014年には、Google DeepMindの研究者らがシーケンスモデリングのためのリカレントネットワークを探求した。2015年のdzmitry-bahdanauとkyunghyun-cho（リストに含まれていない）による論文では、アテンションが導入され、これが重要な強化となった。2017年までに、Jakob Uszkoreit、Lukasz Kaiser、およびGoogleの同僚らによって導入されたTransformer (architecture)アーキテクチャは、リカレントネットワークを完全に置き換え、自己アテンションを使用してシーケンスを並列処理した。トランスフォーマーのエンコーダー・デコーダー構造は、BERT（エンコーダーのみ）やGPT（デコーダーのみ）などのモデルの基盤となったが、完全なエンコーダー・デコーダーは多くのシーケンス間アプリケーションにとって依然として不可欠である。
主要コンポーネント
エンコーダーは入力シーケンスをトークンごとに処理し、隠れ状態のシーケンスを生成する。リカレント実装では、これらの状態は以前のトークンからの情報を捕捉する。デコーダーは出力シーケンスを自己回帰的に生成し、コンテキストベクトルと以前に生成されたトークンに基づいて各トークンを予測する。コンテキストベクトルは、単一の固定ベクトル（元の設計）またはアテンション重み付きベクトルの動的セット（アテンションベースのモデル）であり得る。デコーダーは通常、ソフトマックス層を使用して語彙全体の確率分布を生成する。
自然言語処理における応用
エンコーダー・デコーダーモデルは、Natural language processingタスクで広く使用されている。機械翻訳では、エンコーダーがソース言語の文を読み、デコーダーがターゲット言語の翻訳を生成する。テキスト要約では、エンコーダーが長い文書を処理し、デコーダーが簡潔な要約を生成する。他の応用には、入力が音声シーケンスで出力がテキストである音声認識や、エンコーダーが畳み込みネットワークでデコーダーがリカレントネットワークである画像キャプション生成が含まれる。これらのシステムは、OpenAI、Anthropic、Google DeepMindなどの企業によって言語モデルに展開されている。
変種と拡張
エンコーダー・デコーダーアーキテクチャにはいくつかの変種が存在する。Transformer (architecture)は、エンコーダーとデコーダーの両方に積み重ねられた自己アテンション層を使用し、並列処理と長距離依存関係のより良い処理を可能にする。BERTなどの双方向エンコーダーは、入力の両方向から処理し、コンテキスト理解を向上させる。一部のモデルは、マルチタスク学習のために共有エンコーダー・デコーダーを使用し、他は外部メモリや階層構造を組み込む。Generative AIでは、エンコーダー・デコーダーモデルが対話生成やコード生成などのタスクに使用され、AI21 LabsやInflection AIなどの企業が専門の変種を開発している。
トレーニングと最適化
エンコーダー・デコーダーモデルは通常、最尤推定を使用してトレーニングされ、目的は入力が与えられた場合の正しい出力シーケンスの確率を最大化することである。トレーニングには、リカレントモデルでは時間方向の逆伝播、トランスフォーマーでは標準的な逆伝播が含まれる。ティーチャーフォーシングなどの技術では、トレーニング中にデコーダーが正解トークンを使用し、収束を加速する。ドロップアウトやラベルスムージングなどの正則化手法が一般的である。大規模トレーニングにはかなりの計算リソースが必要であり、多くの場合、Amazon Web Services、Microsoft Azure、Google Cloudなどのクラウドプラットフォームや、NVIDIA（リストに含まれていない）やAMDなどの専門ハードウェアによって提供される。
現代のAIへの影響
エンコーダー・デコーダーアーキテクチャは、Artificial intelligenceの分野に深遠な影響を与えてきた。機械翻訳の進歩を可能にし、Google翻訳などのシステムをより正確にした。また、大規模言語モデルの開発の基盤を築き、自然言語処理を変革した。このアーキテクチャの柔軟性により、視覚や音声を含むさまざまなモダリティに適応でき、マルチモーダルモデルにつながる。MIT CSAIL、Stanford AI Lab、University of Torontoなどの研究機関がその進化に貢献し、Xerox PARCやNokia Bell Labsなどの産業研究所が初期のニューラルアプローチを探求した。
制限と課題
その成功にもかかわらず、エンコーダー・デコーダーアーキテクチャは制限に直面している。初期モデルの固定長コンテキストベクトルは長いシーケンスに苦労したが、アテンションがこれを緩和した。計算コストはシーケンス長とともに増加し、特にトランスフォーマーでは二次的なアテンションのために増加する。トレーニングには大規模なデータセットとかなりの計算が必要であり、小規模な組織にとっては障壁となり得る。さらに、このアーキテクチャは生成タスクで幻覚コンテンツを生成する可能性があり、これはMachine learningやDeep learningの進行中の研究によって対処されている課題である。
将来の方向性
エンコーダー・デコーダーアーキテクチャの将来の開発は、効率性とスケーラビリティに焦点を当てている。スパースアテンションや線形アテンションなどの技術は、計算の複雑さを減らすことを目指している。研究者は、モデルをより解釈可能で制御可能にする方法を探求している。エンコーダー・デコーダー構造と強化学習や外部知識ベースの統合は、活発な分野である。Large language modelが進化し続けるにつれて、エンコーダー・デコーダー枠組みは基本的な構成要素であり続け、ロボティクス、科学的発見、パーソナライズされたAIアシスタントへの潜在的な応用がある。
結論
エンコーダー・デコーダーアーキテクチャは、深層学習における中心的な概念であり、機械がシーケンシャルデータを処理および生成することを可能にする。2014年の創始から現代のトランスフォーマーにおける中心的な役割まで、AIの景観を形成してきた。その汎用性と有効性は、研究と産業の両方での継続的な関連性を保証し、進行中の革新が現在の制限に対処し、その能力を拡張することを約束している。