Un autoencodeur variationnel (VAE) est une architecture de réseau neuronal artificiel introduite par Diederik P. Kingma et Max Welling en 2013. Il appartient aux familles des modèles graphiques probabilistes et des méthodes bayésiennes variationnelles. En plus d'être une architecture d'autoencodeur, un VAE peut être étudié dans le cadre de la formulation mathématique des méthodes bayésiennes variationnelles, reliant un réseau encodeur neuronal à son décodeur via un espace latent probabiliste, tel qu'une distribution gaussienne multivariée, qui correspond aux paramètres d'une distribution variationnelle.
L'encodeur mappe chaque point d'un grand ensemble de données complexe, comme une image, vers une distribution dans l'espace latent plutôt que vers un point unique. Le décodeur remplit la fonction opposée, mappant de l'espace latent vers l'espace d'entrée selon une distribution, bien que du bruit soit rarement ajouté lors du décodage en pratique. En mappant un point vers une distribution plutôt que vers un point unique, le réseau peut éviter le surapprentissage des données d'entraînement. Les deux réseaux sont généralement entraînés ensemble à l'aide de l'astuce de reparamétrisation, bien que la variance du modèle de bruit puisse être apprise séparément. Bien qu'initialement conçu pour l'apprentissage non supervisé, le modèle s'est avéré efficace pour l'apprentissage semi-supervisé et l'apprentissage supervisé.
Architecture et fonctionnement
Un VAE est un modèle génératif avec une distribution a priori et une distribution de bruit. Ces modèles sont souvent entraînés à l'aide du méta-algorithme d'espérance-maximisation, comme avec l'ACP probabiliste ou le codage parcimonieux. Ce schéma optimise une borne inférieure de la vraisemblance des données, qui est généralement incalculable sur le plan computationnel, et nécessite de découvrir des distributions q, ou postérieurs variationnels. Ces distributions q sont normalement paramétrées pour chaque point de données individuel dans un processus d'optimisation séparé. Cependant, les VAE utilisent un réseau neuronal comme approche amortie pour optimiser conjointement sur les points de données, réutilisant les mêmes paramètres pour plusieurs points de données et réalisant des économies de mémoire massives. Le premier réseau neuronal, appelé l'encodeur, prend les points de données comme entrée et produit les paramètres de la distribution variationnelle, mappant d'un espace d'entrée connu vers l'espace latent de faible dimension.
Le décodeur est le second réseau neuronal, mappant de l'espace latent vers l'espace d'entrée, par exemple comme les moyennes de la distribution de bruit. Il est possible d'utiliser un autre réseau neuronal pour mapper vers la variance, mais cela peut être omis par souci de simplicité ; dans ce cas, la variance peut être optimisée par descente de gradient.
Pour optimiser le modèle, deux termes sont nécessaires : l'erreur de reconstruction et la divergence de Kullback-Leibler (KL-D). Ces deux termes dérivent de l'expression de l'énergie libre du modèle probabiliste et diffèrent selon la distribution de bruit et le a priori supposé des données, appelé la distribution p. Par exemple, une tâche VAE standard comme IMAGENET suppose généralement un bruit gaussien, tandis que des tâches comme MNIST binarisé nécessitent un bruit de Bernoulli. Le terme KL-D maximise la masse de probabilité de la distribution q qui chevauche la distribution p, ce qui peut entraîner un comportement de recherche de modes. Le terme de reconstruction est le reste de l'expression de l'énergie libre et nécessite une approximation par échantillonnage pour calculer sa valeur d'espérance. Des approches plus récentes remplacent la KL-D par diverses distances statistiques.
Formulation
Du point de vue de la modélisation probabiliste, on souhaite maximiser la vraisemblance des données x par leur distribution de probabilité paramétrée choisie p_θ(x) = p(x|θ). Cette distribution est généralement choisie comme une gaussienne N(x|μ, σ), paramétrée par μ et σ, et en tant que membre de la famille exponentielle, elle est facile à manipuler comme distribution de bruit. Les distributions simples sont faciles à maximiser, mais les distributions avec un a priori sur les latents z entraînent des intégrales incalculables. Pour trouver p_θ(x), on marginalise sur z :
p_θ(x) = ∫_z p_θ(x, z) dz,
où p_θ(x, z) est la distribution conjointe sous p_θ des données observables x et de leur représentation latente z. Par la règle de la chaîne, cela peut être réécrit comme p_θ(x) = ∫_z p_θ(x|z) p_θ(z) dz.
Cette intégrale est généralement incalculable, donc le VAE introduit un réseau encodeur pour approximer le postérieur p_θ(z|x) avec une distribution variationnelle q_φ(z|x). L'objectif d'entraînement est la borne inférieure de l'évidence (ELBO), qui combine le terme de reconstruction et la divergence KL, et est optimisée via la descente de gradient stochastique à l'aide de l'astuce de reparamétrisation.
Entraînement et astuce de reparamétrisation
L'astuce de reparamétrisation est une technique clé pour entraîner les VAE. Elle permet la rétropropagation à travers l'échantillonnage stochastique en exprimant la variable latente z comme une fonction déterministe de l'entrée et d'une variable de bruit. Pour un espace latent gaussien, z est échantillonné comme z = μ + σ ⊙ ε, où ε est tiré d'une distribution normale standard. Cela rend le gradient de l'ELBO calculable par rapport aux paramètres de l'encodeur et du décodeur.
L'encodeur produit la moyenne μ et la variance σ de la distribution variationnelle, et le décodeur reconstruit l'entrée à partir du z échantillonné. L'erreur de reconstruction mesure à quel point le décodeur reconstruit l'entrée, tandis que la divergence KL régularise l'espace latent pour correspondre au a priori, typiquement une distribution normale standard. Cet équilibre encourage un espace latent lisse et continu qui peut être échantillonné pour la génération.
Applications et variantes
Les VAE ont été largement appliqués dans l'IA générative pour la génération d'images, la détection d'anomalies et l'apprentissage de représentations. Ils sont également utilisés dans l'apprentissage semi-supervisé, où l'espace latent peut capturer des caractéristiques significatives pour la classification. Les variantes incluent le beta-VAE, qui pondère le terme KL pour encourager des représentations désentrelacées, et le VQ-VAE, qui utilise des codes latents discrets. Les variantes VAE à distance statistique remplacent la KL-D par d'autres distances pour améliorer la robustesse ou la qualité des échantillons.
Comparés à d'autres modèles génératifs comme les réseaux antagonistes génératifs (GAN), les VAE offrent un entraînement stable et un cadre probabiliste fondé, mais produisent souvent des échantillons plus flous. Ils sont également liés aux architectures de apprentissage profond et constituent un sujet fondamental en apprentissage automatique. Le modèle a été étendu de nombreuses manières, y compris les VAE conditionnels et les VAE hiérarchiques, et reste un domaine de recherche actif en intelligence artificielle.