オートエンコーダは、ニューラルネットワークの一種であり、入力を狭いボトルネック層を通過させた後、その入力を再現するように訓練される。これは、入力をコンパクトな内部コードに圧縮するエンコーダと、そのコードから元の入力を再構築するデコーダの2つの部分から構成される。ネットワークはボトルネックを通して少量の情報しか渡せないため、データのどの特徴が最も重要かを学習せざるを得ず、潜在空間表現は生の入力よりも小さく、しばしばより意味のあるものになる。
歴史と変種
オートエンコーダは1980年代のコネクショニスト文献に起源を持つが、ラベルを必要としないため、教師なし学習の一形態として現代的な関連性を得た。入力自体が訓練目標となり、これは現在自己教師あり学習と呼ばれるものの初期の例である。2013年に導入された変分オートエンコーダ（VAE）は確率的なひねりを加え、潜在空間を任意の形状ではなく滑らかで既知の分布に近似するように制約した。これにより、その分布からランダムな点を抽出してデコードすることで新しいサンプルを生成できるようになり、オートエンコーダは圧縮ツールから生成的ツールへと変わった。他の変種には、破損したバージョンからクリーンな入力を回復するように訓練されるデノイジングオートエンコーダや、ほとんどの潜在ユニットをゼロ付近に保つことを促進するスパースオートエンコーダがあり、後者の特性は後に解釈可能性研究で大規模言語モデル内の個々の特徴を分離するために再利用された。
応用
直接的な生成に加えて、オートエンコーダは次元削減や異常検知に広く使用される。モデルがうまく再構築できない入力は、訓練分布に対して異常である可能性が高いためである。画像生成では、オートエンコーダのエンコーダ・デコーダ対は、安定拡散などの潜在拡散モデルの主要な構成要素である。画像は小さな潜在グリッドに圧縮され、拡散プロセスはその圧縮空間で実行され、デコーダは結果をフル解像度の画像に拡張する。この役割分担は、現代のテキストから画像システムが消費者向けハードウェアで動作できる主な理由である。オートエンコーダはまた、スパースなユーザー・アイテム相互作用データの再構築を支援するレコメンデーションシステムや、波形をさらなる処理前に圧縮する音声認識やオーディオパイプラインにも登場する。
他のアーキテクチャとの関係
オートエンコーダは生成的敵対ネットワーク（GAN）と関連するが、それとは異なる。GANの生成器も潜在ベクトルを出力にマッピングするが、再構築誤差を最小化するのではなく、識別器に対して敵対的に訓練され、その結果、よりシャープだが制御が難しい出力を生む傾向がある。トランスフォーマーベースのシステムは、大規模な自然言語処理において単純なオートエンコーダをほぼ置き換えたが、Seq2seqモデルで以前に形式化されたエンコーダ・デコーダパターン自体は、オートエンコーダとトランスフォーマーアーキテクチャの両方の概念的な祖先であり続けている。BERTなどのモデルで使用されるマスク予測事前訓練目的は、テキストに適用されたデノイジングオートエンコーダタスクと見なすこともできる。
限界
標準的なオートエンコーダは再構築のみを最適化するため、潜在空間が滑らかで、分離可能で、下流タスクに有用であることを保証しない。変分や他の正則化された変種はこれを部分的に解決するが、通常、再構築のシャープネスとより構造化された潜在空間の間でトレードオフが生じる。2020年代半ばの時点で、オートエンコーダは主に、独立したモデリングアプローチとしてではなく、より大きな生成的パイプライン内の構成要素として生き残っている。