Un autoencodeur variationnel (VAE) est un type de réseau de neurones artificiels utilisé pour la modélisation générative, introduit par Diederik P. Kingma et Max Welling en 2013. Il appartient à la famille des modèles graphiques probabilistes et des méthodes bayésiennes variationnelles. Un VAE apprend à encoder des données de haute dimension (telles que des images) dans un espace latent de faible dimension, puis à décoder des échantillons de cet espace latent pour revenir aux données, apprenant ainsi efficacement la distribution de probabilité sous-jacente des données d'entraînement.
Aperçu de l'architecture et du fonctionnement
Un VAE se compose de deux composants principaux de réseau de neurones : un encodeur et un décodeur. L'encodeur mappe chaque point de données d'entrée \(x\) vers une distribution sur les variables latentes \(z\), généralement une gaussienne multivariée avec une moyenne \(\mu(x)\) et une variance \(\sigma^2(x)\). Au lieu d'encoder un point unique, l'encodeur produit les paramètres d'une distribution de probabilité, ce qui permet au modèle de représenter l'incertitude et de capturer les variations continues dans les données. Le décodeur prend un échantillon \(z\) de cette distribution latente et le mappe vers l'espace de données d'origine, produisant une reconstruction \(\hat{x}\).
L'objectif d'entraînement d'un VAE est de maximiser la borne inférieure de la vraisemblance (ELBO) sur la log-vraisemblance des données. Cela implique deux termes : la perte de reconstruction, qui mesure à quel point le décodeur reconstruit l'entrée à partir de l'échantillon latent, et la divergence de Kullback–Leibler (divergence KL) entre la distribution de sortie de l'encodeur et une distribution a priori sur \(z\) (généralement une normale standard). Le terme KL agit comme un régularisateur, encourageant l'espace latent à être lisse et continu.
Pour permettre la rétropropagation à travers l'étape d'échantillonnage aléatoire, le VAE utilise l'astuce de reparamétrisation : au lieu d'échantillonner \(z\) directement depuis \(q_\phi(z|x)\), le modèle échantillonne une variable de bruit auxiliaire \(\epsilon \sim \mathcal{N}(0, I)\) et calcule \(z = \mu(x) + \sigma(x) \odot \epsilon\). Cela rend l'opération d'échantillonnage différentiable par rapport aux paramètres de l'encodeur.
Formulation mathématique
D'un point de vue probabiliste, l'objectif est de maximiser la vraisemblance marginale des données observées \(p_\theta(x) = \int p_\theta(x|z) p(z) dz\). Cependant, cette intégrale est souvent intraitable. Le VAE introduit une posteriori approximative \(q_\phi(z|x)\) et dérive l'ELBO :
\[
\log p_\theta(x) \geq \mathbb{E}_{q_\phi(z|x)}[\log p_\theta(x|z)] - D_{KL}(q_\phi(z|x) \| p(z))
\]
Le premier terme est la vraisemblance de reconstruction, et le second terme est la divergence KL. Les deux termes sont différentiables par rapport aux paramètres \(\theta\) et \(\phi\) lors de l'utilisation de l'astuce de reparamétrisation.
Le choix de la distribution a priori \(p(z)\) et de la vraisemblance \(p_\theta(x|z)\) dépend du type de données. Pour les données continues, une vraisemblance gaussienne est courante ; pour les données binaires (par exemple, MNIST binarisé), une vraisemblance de Bernoulli est utilisée. La distribution a priori latente est généralement une distribution normale standard.
Dynamique d'entraînement
Le VAE est entraîné par descente de gradient stochastique sur l'ELBO. La perte de reconstruction encourage le décodeur à produire des sorties proches des entrées, tandis que la divergence KL pousse la posteriori de l'encodeur vers la distribution a priori. Cela crée un compromis : trop de poids sur la reconstruction conduit à un surapprentissage et à un espace latent fragmenté, tandis que trop de poids sur la KL conduit à un phénomène appelé effondrement de la posteriori, où la variable latente devient non informative et le modèle ignore \(z\). Diverses techniques, telles que l'annealing de la KL ou le beta-VAE, ajustent cet équilibre.
Variantes et extensions
Plusieurs variantes du VAE ont été développées. Le beta-VAE introduit un hyperparamètre \(\beta\) pour pondérer le terme KL, permettant des représentations plus désentrelacées. Les VAE conditionnels (CVAE) intègrent des étiquettes de classe ou d'autres informations de conditionnement dans l'encodeur et le décodeur. Les VAE à quantification vectorielle (VQ-VAE) utilisent des codes latents discrets, particulièrement efficaces pour la génération d'images haute fidélité. D'autres extensions incluent les VAE hiérarchiques, les flux normalisants et les autoencodeurs adversariaux.
Applications
Le VAE a été largement appliqué dans divers domaines. En vision par ordinateur, il est utilisé pour la génération d'images, le débruitage et l'inpainting. En traitement du langage naturel, les VAE ont été appliqués à la génération de texte et à l'apprentissage de représentations de phrases. En imagerie médicale, ils sont utilisés pour la détection d'anomalies. Les VAE servent également de blocs de construction pour des modèles génératifs plus complexes, tels que ceux utilisés dans la découverte de médicaments et la conception moléculaire.
Relation avec d'autres modèles génératifs
Les VAE sont l'un des trois principaux types de modèles génératifs profonds, aux côtés des réseaux adversariaux génératifs (GAN) et des modèles autorégressifs. Contrairement aux GAN, qui entraînent un discriminateur pour distinguer les échantillons réels des faux, les VAE optimisent un objectif basé sur la vraisemblance, ce qui les rend plus stables à entraîner mais produit souvent des sorties plus floues. Les modèles autorégressifs, tels que PixelCNN, modélisent la distribution conjointe comme un produit de conditionnelles, mais ils manquent d'un espace latent de faible dimension. Les VAE offrent un équilibre entre inférence traitable et génération expressive.
Limites et recherche actuelle
Malgré leur succès, les VAE présentent des limites connues. Les échantillons générés sont souvent moins nets que ceux des GAN en raison de l'hypothèse de vraisemblance gaussienne. L'espace latent peut ne pas être complètement désentrelacé, et l'effondrement de la posteriori reste un domaine de recherche actif. Les travaux récents se concentrent sur l'amélioration de l'expressivité de la distribution a priori et de la posteriori, l'utilisation de distributions plus flexibles et la combinaison des VAE avec d'autres modèles. Le domaine continue d'évoluer, avec des applications qui s'étendent à l'apprentissage par renforcement et à l'apprentissage de représentations.
Voir aussi
- Autoencodeur
- Réseau adversarial génératif
- Inférence bayésienne
- Modèle à variables latentes
- Astuce de reparamétrisation
- Borne inférieure de la vraisemblance
- Beta-VAE
- Autoencodeur variationnel conditionnel
- Autoencodeur variationnel à quantification vectorielle
- Flux normalisants
- Modèle graphique probabiliste
- Apprentissage profond
- Apprentissage non supervisé
- Descente de gradient stochastique
- Divergence de Kullback–Leibler
- Distribution gaussienne
- Distribution de Bernoulli
- Base de données MNIST
- Génération d'images
- Apprentissage de représentations
Références
- Kingma, D. P., & Welling, M. (2013). Auto-Encoding Variational Bayes. arXiv:1312.6114.
- Doersch, C. (2016). Tutorial on Variational Autoencoders. arXiv:1606.05908.
- Blei, D. M., Kucukelbir, A., & McAuliffe, J. D. (2017). Variational Inference: A Review for Statisticians. Journal of the American Statistical Association.
- Higgins, I., et al. (2017). beta-VAE: Learning Basic Visual Concepts with a Constrained Variational Framework. ICLR.