シーケンス・ツー・シーケンス（seq2seq）は、2014年に導入されたニューラルネットワークアーキテクチャであり、入力シーケンスを、潜在的に異なる長さの出力シーケンスにマッピングする。これは、入力全体を固定長の表現に圧縮するエンコーダと、その表現から出力シーケンスを一度に1要素ずつ生成するデコーダという、結合された2つのネットワークのペアを使用する。seq2seqは、ニューラル機械翻訳の基盤となったエンコーダ・デコーダパターンを確立し、注意機構と、その後のトランスフォーマーアーキテクチャの開発を直接動機付けた。
アーキテクチャ
元の定式化では、エンコーダとデコーダの両方がリカレントニューラルネットワークとして実装され、最も一般的にはLSTMユニットを使用して、より単純なリカレント設計の勾配消失問題を軽減する。エンコーダは、ソース言語の文などの入力シーケンスを一度に1トークンずつ処理し、内部の隠れ状態を更新し、最終的な隠れ状態を入力全体の要約としてデコーダに渡す。次にデコーダは、自己回帰モデル方式で出力トークンを一度に1つ生成し、自身の前の出力を入力として次のトークンを予測し、指定されたシーケンス終了マーカーを生成するまで継続する。
起源
このアーキテクチャは、2014年の論文「Sequence to Sequence Learning with Neural Networks」で、イリヤ・サツケバーがオリオル・ビニャルスおよびクォック・ルとともにGoogleで発表し、多層LSTMエンコーダ・デコーダを使用して英語からフランス語への機械翻訳で強力な結果を示した。ほぼ同時期に、キョンヒョン・チョーとその同僚たちによって密接に関連する定式化が発表され、彼らは同じエンコーダ・デコーダフレームワーク内でLSTMの簡素化された代替としてゲート付き回帰ユニットも導入した。
注意機構の統合
元のseq2seq設計の重要な限界は、入力シーケンス全体を要約するために単一の固定長ベクトルに依存していたことであり、これにより長い文では情報が圧縮されて失われ、性能が低下した。このボトルネックが、2015年にドズミトル・バフダナウとその同僚たちが注意機構を導入する動機となり、デコーダがすべてのエンコーダの隠れ状態を振り返り、各出力トークンを生成する際に入力のどの部分が最も関連するかを動的に重み付けできるようにし、長いシーケンスでの翻訳品質を大幅に向上させ、注意をシーケンスモデルの標準コンポーネントとして確立した。
遺産
注意付きseq2seqは、Google翻訳の2016年の完全ニューラルシステムへの移行を含む、ニューラル機械翻訳システムの支配的なアーキテクチャとなった。その後、2017年のトランスフォーマーアーキテクチャでリカレントコンポーネントは最終的に完全に除去され、そのタイトル「Attention Is All You Need」は、seq2seq研究が非常に効果的であることを示した機構を直接参照している。seq2seqが確立した、あるシーケンスを別のシーケンスにマッピングするという一般的なエンコーダ・デコーダの枠組みは、現代の自然言語処理において概念的に中心的な位置を占め続けており、要約からコード生成までのタスクの基盤となっている。元のアーキテクチャのリカレント構成要素は、注意ベースの深層学習設計によってほぼ完全に取って代わられたが。