変分オートエンコーダー（VAE）は、2013年にディーデリク・P・キングマとマックス・ウェリングによって導入された人工ニューラルネットワークのアーキテクチャである。これは、確率的グラフィカルモデルと変分ベイズ法のファミリーに属する。オートエンコーダーのアーキテクチャであることに加えて、VAEは変分ベイズ法の数学的定式化の中で研究することができ、ニューラルエンコーダーネットワークをデコーダーに、多変量ガウス分布などの確率的潜在空間を通じて接続し、これは変分分布のパラメータに対応する。
エンコーダーは、画像などの大規模な複雑なデータセットの各点を、潜在空間内の単一の点ではなく分布へとマッピングする。デコーダーは逆の機能を果たし、潜在空間から入力空間へ分布に従ってマッピングするが、実際にはデコード中にノイズが追加されることはほとんどない。点を単一の点ではなく分布にマッピングすることで、ネットワークはトレーニングデータの過学習を回避できる。両方のネットワークは通常、再パラメータ化トリックを用いて一緒にトレーニングされるが、ノイズの分散は別々に学習することができる。当初は教師なし学習用に設計されたが、このモデルは教師あり学習や半教師あり学習にも効果的であることが示されている。
アーキテクチャと動作
VAEは、事前分布とノイズ分布を持つ生成モデルである。このようなモデルは、確率的PCAやスパースコーディングと同様に、期待値最大化メタアルゴリズムを用いてトレーニングされることが多い。このスキームは、データの尤度の下界を最適化するが、これは通常計算が難しく、q分布（変分事後分布）の発見を必要とする。これらのq分布は通常、個々のデータポイントごとに別々の最適化プロセスでパラメータ化される。しかし、VAEはニューラルネットワークを償却アプローチとして使用し、データポイント全体にわたって共同で最適化し、同じパラメータを複数のデータポイントで再利用することで、メモリを大幅に節約する。最初のニューラルネットワークはエンコーダーと呼ばれ、データポイントを入力として受け取り、変分分布のパラメータを出力し、既知の入力空間から低次元の潜在空間へのマッピングを行う。
デコーダーは2番目のニューラルネットワークであり、潜在空間から入力空間へのマッピングを行い、例えばノイズ分布の平均として機能する。別のニューラルネットワークを使用して分散をマッピングすることも可能だが、簡素化のために省略できる。その場合、分散は勾配降下法で最適化できる。
モデルを最適化するには、再構成誤差とカルバック・ライブラー発散（KLダイバージェンス）の2つの項が必要である。両方の項は、確率モデルの自由エネルギー表現から導出され、ノイズ分布とデータの想定される事前分布に応じて異なる。例えば、標準的なVAEタスクであるIMAGENETは通常ガウスノイズを仮定するが、二値化されたMNISTのようなタスクはベルヌーイノイズを必要とする。KLダイバージェンス項は、q分布がp分布と重なる確率質量を最大化し、モード探索行動をもたらす可能性がある。再構成項は自由エネルギー表現の残りの部分であり、その期待値を計算するにはサンプリング近似が必要である。最近のアプローチでは、KLダイバージェンスをさまざまな統計的距離に置き換えるものもある。
定式化
確率モデリングの観点から、データxの尤度を、選択したパラメータ化された確率分布p_θ(x) = p(x|θ)で最大化したい。この分布は通常、ガウス分布N(x|μ, σ)が選ばれ、μとσでパラメータ化され、指数分布族のメンバーとしてノイズ分布を扱いやすい。単純な分布は最大化しやすいが、潜在変数zに事前分布を持つ分布は、計算が難しい積分をもたらす。p_θ(x)を見つけるには、zについて周辺化する：
p_θ(x) = ∫_z p_θ(x, z) dz,
ここでp_θ(x, z)は、観測可能なデータxとその潜在表現zの下でのp_θの結合分布である。連鎖律により、これはp_θ(x) = ∫_z p_θ(x|z) p_θ(z) dzと書き直すことができる。
この積分は通常計算が難しいため、VAEはエンコーダーネットワークを導入して、変分分布q_φ(z|x)で事後分布p_θ(z|x)を近似する。トレーニング目的はエビデンス下界（ELBO）であり、再構成項とKLダイバージェンスを組み合わせ、再パラメータ化トリックを用いた確率的勾配降下法で最適化される。
トレーニングと再パラメータ化トリック
再パラメータ化トリックは、VAEのトレーニングにおける重要な手法である。これにより、確率的サンプリングを通じてバックプロパゲーションが可能になり、潜在変数zを入力とノイズ変数の決定論的関数として表現する。ガウス潜在空間の場合、z = μ + σ ⊙ εとしてサンプリングされ、ここでεは標準正規分布から抽出される。これにより、ELBOの勾配がエンコーダーとデコーダーのパラメータに関して計算可能になる。
エンコーダーは、潜在変数の平均μと分散σを出力し、デコーダーはサンプリングされたzから入力を再構成する。再構成誤差はデコーダーが入力をどれだけうまく再構成するかを測定し、KLダイバージェンスは潜在空間を事前分布（通常は標準正規分布）に正則化する。このバランスにより、滑らかで連続的な潜在空間が促進され、サンプリングによる生成が可能になる。
応用と変種
VAEは生成的AIにおいて、画像生成、異常検出、表現学習などに広く応用されている。また、半教師あり学習にも使用され、潜在空間が分類に有用な特徴を捉えることができる。変種には、KL項に重みを付けて非絡み合い表現を促進するベータVAEや、離散潜在コードを使用するVQ-VAEなどがある。統計的距離に基づくVAE変種は、KLダイバージェンスを他の距離に置き換えて、ロバスト性やサンプル品質を向上させる。
生成的敵対ネットワーク（GAN）などの他の生成モデルと比較して、VAEは安定したトレーニングと原理的な確率フレームワークを提供するが、しばしばよりぼやけたサンプルを生成する。また、深層学習アーキテクチャや機械学習の基礎トピックとも関連している。このモデルは、条件付きVAEや階層的VAEなど、さまざまな方法で拡張されており、人工知能研究の活発な分野であり続けている。