Ein variational autoencoder (VAE) ist eine Architektur künstlicher neuronaler Netze, die 2013 von Diederik P. Kingma und Max Welling eingeführt wurde. Sie gehört zu den Familien der probabilistischen grafischen Modelle und der variationellen Bayesschen Methoden. Der VAE kombiniert ein Encoder-Netzwerk und ein Decoder-Netzwerk, die über einen probabilistischen latenten Raum verbunden sind, der typischerweise einer multivariaten Gauß-Verteilung folgt. Der Encoder bildet jeden Eingabedatenpunkt, beispielsweise ein Bild, auf eine Verteilung im latenten Raum ab, anstatt auf einen einzelnen Punkt, während der Decoder vom latenten Raum zurück in den Eingaberaum abbildet. Diese probabilistische Abbildung hilft, eine Überanpassung an die Trainingsdaten zu vermeiden. Das Modell wird mithilfe des Reparametrisierungstricks trainiert und war ursprünglich für unüberwachtes Lernen konzipiert, hat sich aber auch für halbüberwachte und überwachte Lernaufgaben als effektiv erwiesen.
Der VAE ist ein generatives Modell, das die zugrunde liegende Wahrscheinlichkeitsverteilung eines Datensatzes lernt. Er optimiert eine untere Schranke für die Datenwahrscheinlichkeit, die als Evidenz-Untergrenze (ELBO) bekannt ist und rechnerisch handhabbar ist. Der Encoder dient als amortisiertes Inferenznetzwerk, das variationelle Posteriori-Verteilungen über alle Datenpunkte hinweg gemeinsam optimiert, was im Vergleich zur Optimierung pro Datenpunkt zu erheblichen Speichereinsparungen führt. Der Decoder erzeugt Daten aus latenten Variablen, und beide Netzwerke werden gemeinsam trainiert, um eine Verlustfunktion zu minimieren, die aus einem Rekonstruktionsterm und einem Kullback-Leibler-Divergenzterm (KL-Divergenz) besteht.
Architektur und Funktionsweise
Die VAE-Architektur besteht aus zwei Hauptkomponenten: einem Encoder und einem Decoder. Der Encoder ist ein neuronales Netzwerk, das Eingabedatenpunkte aufnimmt und Parameter für eine variationelle Verteilung ausgibt, typischerweise Mittelwert und Varianz einer Gauß-Verteilung. Er bildet vom Eingaberaum auf einen niedrigdimensionalen latenten Raum ab. Der Decoder ist ein zweites neuronales Netzwerk, das vom latenten Raum zurück in den Eingaberaum abbildet und häufig die Mittelwerte der Rauschverteilung erzeugt. In einigen Implementierungen gibt der Decoder auch Varianzparameter aus, dies kann jedoch aus Einfachheitsgründen weggelassen werden, wobei die Varianz über Gradientenabstieg optimiert wird.
Das Trainingsziel umfasst zwei Terme, die aus dem Freie-Energie-Ausdruck des probabilistischen Modells abgeleitet sind: den Rekonstruktionsfehler und die KL-Divergenz. Der Rekonstruktionsterm misst, wie gut der Decoder die Eingabe aus den latenten Variablen rekonstruiert, und erfordert eine Stichprobenapproximation, um seinen Erwartungswert zu berechnen. Der KL-Divergenzterm misst die Differenz zwischen der variationellen Posteriori-Verteilung und der Prior-Verteilung über latente Variablen und maximiert die Überlappung der Wahrscheinlichkeitsmasse. Die Wahl der Rauschverteilung hängt vom Datentyp ab; beispielsweise ist Gaußsches Rauschen typisch für kontinuierliche Daten wie Bilder, während Bernoulli-Rauschen für binäre Daten wie binarisierte MNIST-Ziffern verwendet wird.
Formulierung
Aus einer probabilistischen Modellierungsperspektive besteht das Ziel darin, die Wahrscheinlichkeit der Daten \(x\) unter einer parametrisierten Verteilung \(p_\theta(x) = p(x|\theta)\) zu maximieren, die oft als Gauß-Verteilung gewählt wird. Wenn jedoch eine Prior-Verteilung über latente Variablen \(z\) angenommen wird, wird die Randwahrscheinlichkeit \(p_\theta(x) = \int_z p_\theta(x,z) dz\) unbeherrschbar. Um dies zu adressieren, führt der VAE eine variationelle Posteriori-Verteilung \(q_\phi(z|x)\) ein, die vom Encoder parametrisiert wird, und optimiert die ELBO:
\[\log p_\theta(x) \geq \mathbb{E}_{q_\phi(z|x)}[\log p_\theta(x|z)] - D_{KL}(q_\phi(z|x) \| p_\theta(z))\]
Der erste Term ist die Rekonstruktionswahrscheinlichkeit, und der zweite Term ist die KL-Divergenz zwischen der variationellen Posteriori-Verteilung und der Prior-Verteilung. Der Reparametrisierungstrick ermöglicht es, Gradienten durch den Stichprobenprozess fließen zu lassen, indem \(z\) als deterministische Funktion der Encoder-Ausgaben und einer Zufallsrauschvariablen ausgedrückt wird, was eine standardmäßige Backpropagation ermöglicht.
Training und Optimierung
Das Training eines VAE beinhaltet die Minimierung der negativen ELBO mithilfe des stochastischen Gradientenabstiegs. Der Rekonstruktionsterm wird typischerweise mithilfe von Monte-Carlo-Stichproben approximiert, während die KL-Divergenz oft analytisch berechnet werden kann, wenn sowohl die Prior- als auch die Posteriori-Verteilung Gaußsch sind. Der Reparametrisierungstrick ist entscheidend für das Training, da er den stochastischen Teil vom deterministischen Teil der Stichprobenziehung latenter Variablen trennt. Die Varianz des Rauschmodells kann separat gelernt oder festgelegt werden.
Neuere Ansätze haben untersucht, die KL-Divergenz durch andere statistische Distanzen, wie die Wasserstein-Distanz, zu ersetzen, um Probleme wie Moduskollaps zu adressieren und die Qualität generierter Stichproben zu verbessern. Diese Varianten werden oft als statistische Distanz-VAE-Varianten bezeichnet.
Anwendungen
Variational autoencoder wurden häufig für generative Aufgaben eingesetzt, darunter Bildgenerierung, Anomalieerkennung und Repräsentationslernen. Sie sind besonders effektiv für unüberwachtes Lernen, wo sie kompakte latente Repräsentationen von Daten lernen. VAEs wurden auch auf halbüberwachtes Lernen angewendet, wo sie unbeschriftete Daten nutzen, um die Leistung bei beschrifteten Aufgaben zu verbessern, und in einigen Kontexten auf überwachtes Lernen. Die Architektur hat zahlreiche Erweiterungen inspiriert, wie bedingte VAEs, die Klassenlabels in den Generierungsprozess integrieren, und hierarchische VAEs, die mehrere Ebenen latenter Variablen verwenden.
Varianten und Erweiterungen
Mehrere Varianten des VAE wurden entwickelt, um seine Leistung zu verbessern und Einschränkungen zu adressieren. Das Beta-VAE führt einen Gewichtungsfaktor \(\beta\) auf den KL-Divergenzterm ein, um stärker entwirrte Repräsentationen zu fördern. Das VQ-VAE (Vector Quantized VAE) verwendet diskrete latente Variablen, die für Aufgaben wie Text- und Audiogenerierung nützlich sind. Weitere Erweiterungen umfassen das CVAE (Conditional VAE), das die Generierung auf zusätzliche Informationen konditioniert, und das VAE-GAN, das einen VAE mit einem generativen adversarialen Netzwerk kombiniert, um schärfere Bilder zu erzeugen. Diese Varianten haben die Anwendbarkeit von VAEs auf verschiedene Bereiche erweitert.
Beziehung zu anderen Modellen
Der VAE ist eng mit anderen generativen Modellen verwandt, wie generativen adversarialen Netzwerken (GANs) und normalisierenden Flüssen. Während GANs sich auf die Erzeugung realistischer Stichproben ohne explizite Wahrscheinlichkeit konzentrieren, bieten VAEs einen prinzipiellen probabilistischen Rahmen mit einem handhabbaren Ziel. Normalisierende Flüsse bieten eine exakte Wahrscheinlichkeitsberechnung, sind jedoch oft rechenintensiver. Die Encoder-Decoder-Struktur des VAE weist auch Ähnlichkeiten mit traditionellen Autoencodern auf, aber der probabilistische latente Raum und die Regularisierung unterscheiden ihn von deterministischen Autoencodern.
Einschränkungen und zukünftige Richtungen
Trotz ihres Erfolgs haben VAEs Einschränkungen, einschließlich der Tendenz, im Vergleich zu GANs verschwommene Stichproben zu erzeugen, was auf die Gaußsche Rauschannahme und das Rekonstruktionsziel zurückzuführen ist. Die KL-Divergenz kann auch zu einem Posteriori-Kollaps führen, bei dem die latenten Variablen uninformativ werden. Laufende Forschung zielt darauf ab, diese Probleme durch verbesserte Prior-Verteilungen, ausdrucksstärkere Posteriori-Verteilungen und alternative Divergenzmaße zu adressieren. Der VAE bleibt ein grundlegendes Modell im Deep Learning und in der generativen KI, mit anhaltender Relevanz sowohl in der akademischen Forschung als auch in praktischen Anwendungen.