Ein variationaler Autoencoder (VAE) ist eine Architektur künstlicher neuronaler Netze, die 2013 von Diederik P. Kingma und Max Welling eingeführt wurde. Sie gehört zu den Familien der probabilistischen grafischen Modelle und der variationalen Bayes-Methoden. Zusätzlich zu einer Autoencoder-Architektur kann ein VAE im Rahmen der mathematischen Formulierung variationaler Bayes-Methoden untersucht werden, die ein neuronales Encoder-Netzwerk mit seinem Decoder über einen probabilistischen latenten Raum verbindet, beispielsweise einer multivariaten Gauß-Verteilung, die den Parametern einer variationalen Verteilung entspricht.
Der Encoder bildet jeden Punkt aus einem großen, komplexen Datensatz, wie etwa einem Bild, auf eine Verteilung im latenten Raum ab, anstatt auf einen einzelnen Punkt. Der Decoder übernimmt die entgegengesetzte Funktion, indem er vom latenten Raum gemäß einer Verteilung auf den Eingaberaum abbildet, obwohl in der Praxis beim Decodieren selten Rauschen hinzugefügt wird. Durch die Abbildung auf eine Verteilung anstelle eines einzelnen Punktes kann das Netzwerk eine Überanpassung an die Trainingsdaten vermeiden. Beide Netzwerke werden typischerweise gemeinsam mithilfe des Reparametrisierungstricks trainiert, obwohl die Varianz des Rauschmodells separat gelernt werden kann. Obwohl ursprünglich für unüberwachtes Lernen entwickelt, hat sich das Modell auch für halbüberwachtes und überwachtes Lernen als effektiv erwiesen.
Architektur und Funktionsweise
Ein VAE ist ein generatives Modell mit einer Prior- und einer Rauschverteilung. Solche Modelle werden häufig mit dem Erwartungs-Maximierungs-Metaalgorithmus trainiert, wie bei probabilistischer Hauptkomponentenanalyse oder dünnbesetzter Kodierung. Dieses Schema optimiert eine untere Schranke der Datenwahrscheinlichkeit, die normalerweise rechnerisch nicht handhabbar ist, und erfordert das Auffinden von q-Verteilungen, den sogenannten variationalen Posteriori-Verteilungen. Diese q-Verteilungen werden normalerweise für jeden einzelnen Datenpunkt in einem separaten Optimierungsprozess parametrisiert. VAEs verwenden jedoch einen neuronalen Ansatz als amortisierte Methode, um gemeinsam über Datenpunkte zu optimieren, wobei dieselben Parameter für mehrere Datenpunkte wiederverwendet werden, was erhebliche Speicherersparnisse ermöglicht. Das erste neuronale Netzwerk, der Encoder, nimmt Datenpunkte als Eingabe und gibt Parameter für die variationale Verteilung aus, wobei es von einem bekannten Eingaberaum auf den niedrigdimensionalen latenten Raum abbildet.
Das zweite neuronale Netzwerk, der Decoder, bildet vom latenten Raum auf den Eingaberaum ab, beispielsweise als Mittelwerte der Rauschverteilung. Es ist möglich, ein weiteres neuronales Netzwerk zu verwenden, um die Varianz abzubilden, aber dies kann aus Gründen der Einfachheit weggelassen werden; in einem solchen Fall kann die Varianz mit Gradientenabstieg optimiert werden.
Trainingsziel
Zum Trainieren des Modells werden zwei Terme benötigt: der Rekonstruktionsfehler und die Kullback-Leibler-Divergenz (KL-Divergenz). Beide Terme leiten sich aus dem Ausdruck der freien Energie des probabilistischen Modells ab und unterscheiden sich je nach Rauschverteilung und angenommener Prior-Verteilung der Daten, die als p-Verteilung bezeichnet wird. Beispielsweise nimmt ein Standard-VAE für Aufgaben wie IMAGENET typischerweise Gaußsches Rauschen an, während Aufgaben wie binarisiertes MNIST Bernoulli-Rauschen erfordern. Der KL-Divergenz-Term maximiert die Wahrscheinlichkeitsmasse der q-Verteilung, die mit der p-Verteilung überlappt, was zu einem modus-suchenden Verhalten führen kann. Der Rekonstruktionsterm ist der Rest des Ausdrucks der freien Energie und erfordert eine Stichproben-Näherung, um seinen Erwartungswert zu berechnen. Neuere Ansätze ersetzen die KL-Divergenz durch verschiedene statistische Distanzen.
Formulierung
Aus der Perspektive der probabilistischen Modellierung möchte man die Wahrscheinlichkeit der Daten x durch ihre gewählte parametrisierte Verteilung p_θ(x) = p(x|θ) maximieren. Diese Verteilung wird üblicherweise als Gauß-Verteilung N(x|μ, σ) gewählt, die durch μ und σ parametrisiert ist, und als Mitglied der exponentiellen Familie ist sie einfach zu handhaben. Einfache Verteilungen sind leicht zu maximieren, aber Verteilungen mit einer Prior-Verteilung über die latenten Variablen z führen zu nicht handhabbaren Integralen. Um p_θ(x) zu finden, marginalisiert man über z:
p_θ(x) = ∫_z p_θ(x, z) dz,
wobei p_θ(x, z) die gemeinsame Verteilung unter p_θ der beobachtbaren Daten x und ihrer latenten Repräsentation z ist. Mit der Kettenregel kann dies als p_θ(x) = ∫_z p_θ(x|z) p_θ(z) dz umgeschrieben werden.
Dieses Integral ist typischerweise nicht handhabbar, daher führt der VAE ein Encoder-Netzwerk ein, um den Posteriori p_θ(z|x) mit einer variationalen Verteilung q_φ(z|x) anzunähern. Das Trainingsziel ist die Evidenz-Untergrenze (ELBO), die den Rekonstruktionsterm und die KL-Divergenz kombiniert und mittels stochastischem Gradientenabstieg unter Verwendung des Reparametrisierungstricks optimiert wird.
Der Reparametrisierungstrick
Der Reparametrisierungstrick ist eine Schlüsseltechnik zum Trainieren von VAEs. Er ermöglicht die Rückpropagation durch stochastisches Abtasten, indem die latente Variable z als deterministische Funktion der Eingabe und einer Rauschvariablen ausgedrückt wird. Für einen Gaußschen latenten Raum wird z als z = μ + σ ⊙ ε abgetastet, wobei ε aus einer Standardnormalverteilung gezogen wird. Dies macht den Gradienten der ELBO in Bezug auf die Encoder- und Decoder-Parameter berechenbar.
Der Encoder gibt den Mittelwert μ und die Varianz σ der variationalen Verteilung aus, und der Decoder rekonstruiert die Eingabe aus dem abgetasteten z. Der Rekonstruktionsfehler misst, wie gut der Decoder die Eingabe rekonstruiert, während die KL-Divergenz den latenten Raum regularisiert, um zur Prior-Verteilung, typischerweise einer Standardnormalverteilung, zu passen. Dieses Gleichgewicht fördert einen glatten, kontinuierlichen latenten Raum, der für die Generierung genutzt werden kann.
Anwendungen und Varianten
VAEs wurden breit in generativer KI für Bildgenerierung, Anomalieerkennung und Repräsentationslernen eingesetzt. Sie werden auch im halbüberwachten Lernen verwendet, wo der latente Raum aussagekräftige Merkmale für die Klassifikation erfassen kann. Zu den Varianten gehören der Beta-VAE, der den KL-Term gewichtet, um disentangled Repräsentationen zu fördern, und der VQ-VAE, der diskrete latente Codes verwendet. Statistische Distanz-VAEs ersetzen die KL-Divergenz durch andere Distanzen, um die Robustheit oder die Stichprobenqualität zu verbessern.
Im Vergleich zu anderen generativen Modellen wie Generativen Adversarialen Netzen (GANs) bieten VAEs stabiles Training und einen prinzipiellen probabilistischen Rahmen, erzeugen jedoch oft unscharfere Stichproben. Sie sind auch mit Deep-Learning-Architekturen verwandt und ein grundlegendes Thema im maschinellen Lernen. Das Modell wurde auf vielfältige Weise erweitert, einschließlich konditionaler VAEs und hierarchischer VAEs, und bleibt ein aktives Forschungsgebiet in der künstlichen Intelligenz.