VQGAN (Vector Quantized Generative Adversarial Network) est une classe d'architectures génératives de réseaux neuronaux conçue pour la synthèse d'images haute résolution. Elle combine l'apprentissage de représentations latentes discrètes par quantification vectorielle (VQ) avec les améliorations de qualité perceptuelle d'un réseau antagoniste génératif (GAN). Introduite dans un article de 2021 par Patrick Esser, Robin Rombach et Björn Ommer à l'Université de Heidelberg et à l'IWR, VQGAN est devenue un composant fondamental pour les modèles ultérieurs de texte-à-image, y compris les modèles de diffusion latente utilisés dans Stable Diffusion.
L'idée centrale de VQGAN est d'apprendre un dictionnaire de codes visuels comprimés et discrets à partir d'images d'entraînement. Un réseau encodeur transforme une image d'entrée en une séquence d'indices dans ce dictionnaire, et un décodeur reconstruit l'image à partir de ces indices. Un discriminateur GAN est entraîné en parallèle avec l'encodeur et le décodeur pour garantir que les images reconstruites sont perceptuellement indiscernables des images réelles, tandis qu'une perte perceptuelle basée sur un réseau pré-entraîné (tel que VGG) améliore encore la fidélité. Cette approche permet à VQGAN de générer des images à des résolutions de 1024x1024 pixels et au-delà, ce qui était difficile pour des modèles antérieurs comme VQ-VAE.
Architecture et entraînement
L'architecture VQGAN se compose de trois éléments principaux : un encodeur, un décodeur et un dictionnaire de vecteurs apprenables. L'encodeur réduit la dimensionnalité de l'image d'entrée en une grille spatiale de codes latents, chacun étant quantifié au vecteur le plus proche dans le dictionnaire. Le décodeur suréchantillonne ces codes pour reconstruire l'image. L'entraînement minimise une combinaison de perte de reconstruction (L2), de perte perceptuelle et d'une perte de commitment qui encourage les sorties de l'encodeur à rester proches des entrées du dictionnaire. Le discriminateur GAN, généralement un PatchGAN, est entraîné de manière antagoniste pour distinguer les images réelles des images reconstruites, poussant le décodeur à produire des détails plus nets.
Une innovation clé a été l'utilisation d'un modèle de transformeur, tel qu'un Transformeur, pour modéliser la séquence de codes quantifiés. En traitant les codes discrets comme des jetons, le transformeur peut apprendre des dépendances globales et générer de nouvelles images de manière autorégressive, permettant une structure cohérente à grande échelle. Cette approche hybride - encodeur/décodeur convolutionnel avec un a priori de transformeur - a permis à VQGAN de capturer à la fois la texture locale et le contexte global.
Applications dans la diffusion latente
L'application la plus influente de VQGAN est venue de son intégration dans les modèles de diffusion latente. Dans l'article de 2022 intitulé "High-Resolution Image Synthesis with Latent Diffusion Models", Rombach et ses collègues ont utilisé un autoencodeur de style VQGAN pour compresser les images dans un espace latent de dimension inférieure. Le modèle de diffusion opérait ensuite sur ces latents plutôt que sur les pixels bruts, réduisant considérablement le coût de calcul tout en préservant la qualité de l'image. Cette architecture est devenue la base de Stable Diffusion, un système de texte-à-image open source largement utilisé. Le composant VQGAN dans ces modèles est souvent désigné sous le nom de "VAE" (autoencodeur variationnel) dans l'écosystème Stable Diffusion, bien qu'il conserve la conception à quantification vectorielle.
Comparaison avec d'autres modèles génératifs
Contrairement aux GAN purs tels que StyleGAN, qui génèrent des images directement à partir d'un vecteur de bruit, VQGAN produit une représentation latente discrète qui peut être manipulée et éditée. Cette propriété le rend adapté à des tâches comme l'inpainting d'image, la super-résolution et la synthèse sémantique. Par rapport à VQ-VAE, VQGAN ajoute des pertes adversariales et perceptuelles, ce qui améliore considérablement la netteté et le réalisme des sorties. Cependant, la dépendance de VQGAN à un dictionnaire de codes et à un a priori de transformeur rend son entraînement plus complexe et plus intensif en calcul que celui d'autoencodeurs plus simples.
Héritage et impact
VQGAN a influencé les recherches ultérieures en apprentissage profond et en intelligence artificielle, en particulier dans le domaine de la modélisation générative. Son concept d'espace latent discret a été adopté dans divers modèles multimodaux et a contribué au développement de grands modèles de langage intégrant des jetons visuels. Le code et les modèles pré-entraînés ont été publiés publiquement, permettant une expérimentation à grande échelle. En 2025, VQGAN reste un point de référence pour comprendre les compromis entre représentations latentes discrètes et continues dans la génération d'images, et ses principes continuent d'informer les architectures plus récentes dans la communauté plus large du apprentissage automatique.
Limites
Malgré ses forces, VQGAN présente des limites connues. La taille et la dimension du dictionnaire de codes nécessitent un réglage minutieux ; un dictionnaire trop petit entraîne une perte de détails, tandis qu'un dictionnaire trop grand augmente l'utilisation de la mémoire. L'a priori de transformeur peut être lent à échantillonner, en particulier pour les images haute résolution. De plus, le modèle peut présenter des artefacts tels qu'un flou dans les régions uniformes ou des motifs répétitifs, en particulier lorsque le dictionnaire de codes n'est pas suffisamment expressif. Ces limitations ont motivé des approches ultérieures qui se sont orientées vers des latents continus, comme on le voit dans certains modèles de diffusion.