Ein Variational Autoencoder (VAE) ist eine Art künstliches neuronales Netzwerk, das für generatives Modellieren verwendet wird und 2013 von Diederik P. Kingma und Max Welling eingeführt wurde. Es gehört zur Familie der probabilistischen grafischen Modelle und der variationalen Bayes-Methoden. Ein VAE lernt, hochdimensionale Daten (wie Bilder) in einen niedrigdimensionalen latenten Raum zu kodieren und dann Stichproben aus diesem latenten Raum zurück in Daten zu dekodieren, wodurch effektiv die zugrunde liegende Wahrscheinlichkeitsverteilung der Trainingsdaten gelernt wird.
Überblick über Architektur und Funktionsweise
Ein VAE besteht aus zwei Hauptkomponenten neuronaler Netze: einem Encoder und einem Decoder. Der Encoder bildet jeden Eingabedatenpunkt \(x\) auf eine Verteilung über latente Variablen \(z\) ab, typischerweise eine multivariate Gauß-Verteilung mit Mittelwert \(\mu(x)\) und Varianz \(\sigma^2(x)\). Anstatt einen einzelnen Punkt zu kodieren, gibt der Encoder Parameter für eine Wahrscheinlichkeitsverteilung aus, was es dem Modell ermöglicht, Unsicherheit darzustellen und kontinuierliche Variationen in den Daten zu erfassen. Der Decoder nimmt eine Stichprobe \(z\) aus dieser latenten Verteilung und bildet sie zurück in den ursprünglichen Datenraum, wodurch eine Rekonstruktion \(\hat{x}\) erzeugt wird.
Das Trainingsziel eines VAE besteht darin, die Evidenz-Untergrenze (ELBO) auf die Log-Likelihood der Daten zu maximieren. Dies beinhaltet zwei Terme: den Rekonstruktionsverlust, der misst, wie gut der Decoder die Eingabe aus der latenten Stichprobe rekonstruiert, und die Kullback-Leibler-Divergenz (KL-Divergenz) zwischen der Ausgabeverteilung des Encoders und einer Prior-Verteilung über \(z\) (üblicherweise eine Standardnormalverteilung). Der KL-Term wirkt als Regularisierer und fördert, dass der latente Raum glatt und kontinuierlich ist.
Um die Rückpropagation durch den zufälligen Stichprobenschritt zu ermöglichen, verwendet der VAE den Reparametrisierungstrick: Anstatt \(z\) direkt aus \(q_\phi(z|x)\) zu sampeln, sampelt das Modell eine Hilfsrauschvariable \(\epsilon \sim \mathcal{N}(0, I)\) und berechnet \(z = \mu(x) + \sigma(x) \odot \epsilon\). Dies macht die Stichprobenoperation differenzierbar bezüglich der Encoder-Parameter.
Mathematische Formulierung
Aus probabilistischer Perspektive besteht das Ziel darin, die marginale Likelihood der beobachteten Daten \(p_\theta(x) = \int p_\theta(x|z) p(z) dz\) zu maximieren. Dieses Integral ist jedoch oft nicht behandelbar. Der VAE führt eine approximierte Posterior \(q_\phi(z|x)\) ein und leitet die ELBO ab:
\[
\log p_\theta(x) \geq \mathbb{E}_{q_\phi(z|x)}[\log p_\theta(x|z)] - D_{KL}(q_\phi(z|x) \| p(z))
\]
Der erste Term ist die Rekonstruktions-Likelihood, und der zweite Term ist die KL-Divergenz. Beide Terme sind differenzierbar bezüglich der Parameter \(\theta\) und \(\phi\), wenn der Reparametrisierungstrick verwendet wird.
Die Wahl der Prior-Verteilung \(p(z)\) und der Likelihood \(p_\theta(x|z)\) hängt vom Datentyp ab. Für kontinuierliche Daten ist eine Gauß-Likelihood üblich; für binäre Daten (z. B. binarisierte MNIST) wird eine Bernoulli-Likelihood verwendet. Die latente Prior-Verteilung ist typischerweise eine Standardnormalverteilung.
Trainingsdynamik
Der VAE wird durch stochastischen Gradientenabstieg auf der ELBO trainiert. Der Rekonstruktionsverlust fördert, dass der Decoder Ausgaben nahe an den Eingaben erzeugt, während die KL-Divergenz die Posterior des Encoders in Richtung der Prior-Verteilung drückt. Dies erzeugt einen Kompromiss: Zu viel Gewicht auf der Rekonstruktion führt zu Überanpassung und einem fragmentierten latenten Raum, während zu viel Gewicht auf der KL-Divergenz zu einem Phänomen namens Posterior-Kollaps führt, bei dem die latente Variable uninformativ wird und das Modell \(z\) ignoriert. Verschiedene Techniken wie KL-Annealing oder Beta-VAE passen dieses Gleichgewicht an.
Varianten und Erweiterungen
Es wurden mehrere Varianten des VAE entwickelt. Der Beta-VAE führt einen Hyperparameter \(\beta\) ein, um den KL-Term zu gewichten, was entwirrte Darstellungen ermöglicht. Bedingte VAEs (CVAEs) integrieren Klassenlabels oder andere Bedingungsinformationen in sowohl Encoder als auch Decoder. Vektorquantisierte VAEs (VQ-VAEs) verwenden diskrete latente Codes, die besonders effektiv für hochauflösende Bildgenerierung sind. Weitere Erweiterungen umfassen hierarchische VAEs, Normalisierungsflüsse und adversarial Autoencoder.
Anwendungen
Der VAE wurde in verschiedenen Bereichen weit verbreitet angewendet. In der Computervision wird er für Bildgenerierung, Entrauschung und Inpainting verwendet. In der Verarbeitung natürlicher Sprache wurden VAEs auf Textgenerierung und Satzrepräsentationslernen angewendet. In der medizinischen Bildgebung werden sie für Anomalieerkennung verwendet. VAEs dienen auch als Bausteine für komplexere generative Modelle, wie sie in der Wirkstoffforschung und im Molekulardesign verwendet werden.
Beziehung zu anderen generativen Modellen
VAEs sind eine der drei Haupttypen tiefer generativer Modelle, neben generativen adversarialen Netzwerken (GANs) und autoregressiven Modellen. Im Gegensatz zu GANs, die einen Diskriminator trainieren, um echte von gefälschten Stichproben zu unterscheiden, optimieren VAEs ein likelihood-basiertes Ziel, was sie stabiler im Training macht, aber oft unscharfere Ausgaben erzeugt. Autoregressive Modelle wie PixelCNN modellieren die gemeinsame Verteilung als Produkt von Bedingungen, aber ihnen fehlt ein niedrigdimensionaler latenter Raum. VAEs bieten ein Gleichgewicht zwischen handhabbarer Inferenz und ausdrucksstarker Generierung.
Einschränkungen und aktuelle Forschung
Trotz ihres Erfolgs haben VAEs bekannte Einschränkungen. Die erzeugten Stichproben sind oft weniger scharf als die von GANs, was auf die Gauß-Likelihood-Annahme zurückzuführen ist. Der latente Raum ist möglicherweise nicht vollständig entwirrt, und der Posterior-Kollaps bleibt ein aktives Forschungsgebiet. Aktuelle Arbeiten konzentrieren sich darauf, die Ausdruckskraft der Prior- und Posterior-Verteilungen zu verbessern, flexiblere Verteilungen zu verwenden und VAEs mit anderen Modellen zu kombinieren. Das Feld entwickelt sich weiter, wobei sich die Anwendungen auf Verstärkungslernen und Repräsentationslernen ausweiten.
Siehe auch
- Autoencoder
- Generatives adversariales Netzwerk
- Bayessche Inferenz
- Latentes Variablenmodell
- Reparametrisierungstrick
- Evidenz-Untergrenze
- Beta-VAE
- Bedingter Variational Autoencoder
- Vektorquantisierter Variational Autoencoder
- Normalisierungsflüsse
- Probabilistisches grafisches Modell
- Deep Learning
- Unüberwachtes Lernen
- Stochastischer Gradientenabstieg
- Kullback-Leibler-Divergenz
- Gauß-Verteilung
- Bernoulli-Verteilung
- MNIST-Datenbank
- Bildgenerierung
- Repräsentationslernen
Referenzen
- Kingma, D. P., & Welling, M. (2013). Auto-Encoding Variational Bayes. arXiv:1312.6114.
- Doersch, C. (2016). Tutorial on Variational Autoencoders. arXiv:1606.05908.
- Blei, D. M., Kucukelbir, A., & McAuliffe, J. D. (2017). Variational Inference: A Review for Statisticians. Journal of the American Statistical Association.
- Higgins, I., et al. (2017). beta-VAE: Learning Basic Visual Concepts with a Constrained Variational Framework. ICLR.