VQGAN+CLIP est une technique de IA générative qui combine un réseau antagoniste génératif à quantification vectorielle (VQGAN) avec le modèle CLIP pour générer des images à partir de descriptions textuelles. Elle est apparue au début de l'année 2021 comme un exemple notable de génération texte-image en zero-shot, exploitant des composants pré-entraînés plutôt que d'entraîner un nouveau modèle de zéro. La méthode a gagné en popularité auprès des artistes et des chercheurs pour sa capacité à produire des images stylisées et souvent surréalistes, précédant les modèles de diffusion à grande échelle ultérieurs.
L'approche a été introduite par Katherine Crowson et d'autres membres de la communauté open-source, s'appuyant sur le modèle VQGAN développé par Patrick Esser, Robin Rombach et Björn Ommer à l'Université de Heidelberg, ainsi que sur le modèle CLIP publié par OpenAI en janvier 2021. VQGAN+CLIP fonctionne en optimisant itérativement une image dans l'espace latent d'un VQGAN pour maximiser la similarité entre l'image et un prompt textuel donné, mesurée par les embeddings contrastifs de CLIP. Cette optimisation est réalisée par descente de gradient, généralement avec un optimiseur Adam ou une variante similaire, et intègre souvent des techniques comme la augmentation de données pour améliorer la qualité des résultats.
Mécanisme
Le mécanisme central implique deux composants réseaux neuronaux pré-entraînés. Le VQGAN est un modèle génératif qui apprend un codebook discret de tokens visuels, lui permettant de compresser et de reconstruire des images. CLIP, un modèle basé sur transformeur, encode à la fois les images et le texte dans un espace d'embeddings partagé, où les paires sémantiquement similaires sont proches. Pour générer une image, le système initialise un code latent aléatoire, puis le décode de manière répétée à travers le VQGAN pour produire une image, calcule la similarité CLIP entre cette image et le prompt, et rétropropage le gradient pour mettre à jour le code latent. Ce processus, souvent appelé « synthèse guidée par CLIP », est répété pendant des centaines ou des milliers d'itérations.
Une variante clé utilise un VQGAN entraîné sur un ensemble de données spécifique, comme ImageNet, ce qui influence le style et le contenu des sorties. L'optimisation est généralement effectuée dans l'espace latent plutôt que dans l'espace pixel, ce qui est efficace sur le plan computationnel et permet des gradients plus lisses. De nombreuses implémentations emploient également une technique appelée « perte CLIP » qui combine la similarité cosinus avec des termes de régularisation supplémentaires, tels que la perte de variation totale, pour encourager des images cohérentes.
Contexte historique
VQGAN+CLIP a gagné en importance au printemps 2021, après la publication de CLIP et les travaux antérieurs sur VQGAN. Il a été parmi les premières méthodes à démontrer que la génération texte-image de haute qualité pouvait être réalisée sans entraîner un modèle conditionnel dédié, en réutilisant plutôt des composants existants. Cela contrastait avec des approches antérieures comme AttnGAN ou StackGAN, qui nécessitaient de grands ensembles de données appariés et un entraînement intensif. L'accessibilité de la méthode, qui pouvait fonctionner sur un seul GPU grand public, a contribué à son adoption rapide dans des communautés en ligne comme Twitter et Reddit, où les utilisateurs partageaient des œuvres générées.
La technique a également influencé les recherches ultérieures. Elle a été un précurseur de modèles ultérieurs comme DALL-E 2 et Stable Diffusion, qui ont adopté des idées similaires d'utilisation de CLIP pour le guidage mais ont remplacé le VQGAN par des modèles de diffusion. La dépendance de VQGAN+CLIP à l'optimisation itérative le rendait plus lent que les générateurs feed-forward, mais il offrait un contrôle fin grâce à l'ingénierie de prompts et aux ajustements de paramètres.
Applications et limites
Les applications principales comprenaient la création artistique, l'art conceptuel et la génération de mèmes. Les artistes l'utilisaient pour explorer des idées visuelles à partir de prompts textuels, combinant souvent plusieurs prompts ou utilisant la « pondération de prompts » pour mettre l'accent sur certains aspects. Il était également utilisé dans des installations interactives et comme outil de codage créatif. Cependant, la méthode présentait des limites notables : les sorties étaient souvent en basse résolution (typiquement 256x256 pixels), sujettes à des artefacts, et pouvaient être incohérentes entre les exécutions. Le processus d'optimisation pouvait se bloquer dans des minima locaux, produisant des images répétitives ou absurdes. De plus, il nécessitait un réglage minutieux des hyperparamètres comme le taux d'apprentissage, le nombre d'itérations et la force d'augmentation.
Comparé aux systèmes ultérieurs basés sur les modèles de diffusion, VQGAN+CLIP manquait de la capacité à générer des images photoréalistes avec des détails fins. Sa force résidait dans la production de résultats abstraits, picturaux ou oniriques, que de nombreux utilisateurs trouvaient esthétiquement attrayants. La méthode avait également un coût computationnel relativement élevé par image, car chaque génération nécessitait une boucle d'optimisation complète.
Héritage
VQGAN+CLIP est considéré comme un jalon dans l'évolution rapide de la IA générative entre 2021 et 2022. Il a démontré la puissance de combiner de grands modèles pré-entraînés pour de nouvelles tâches, un paradigme devenu central dans la recherche en apprentissage automatique. Bien qu'il ait été largement supplanté par les modèles de diffusion d'ici 2022, il reste historiquement significatif et est encore utilisé dans des applications de niche pour son esthétique unique. Les implémentations open-source, comme celles de Katherine Crowson et Ryan Murdock, sont archivées et continuent d'être référencées dans la littérature académique.
La technique a également mis en évidence l'importance de OpenAI's CLIP en tant qu'outil polyvalent au-delà de son objectif de classification original, influençant les travaux ultérieurs en édition et récupération d'images. Elle a contribué à la tendance plus large de l'apprentissage zero-shot et de la réutilisation des modèles fondamentaux, qui est devenue plus tard un thème dominant dans la recherche en intelligence artificielle.
Détails techniques
Une implémentation typique de VQGAN+CLIP utilise un VQGAN avec une taille de codebook de 16384 et une dimension latente de 256, entraîné sur ImageNet à une résolution de 256x256. Le modèle CLIP utilisé est généralement ViT-B/32 ou ViT-B/16, qui encode les images en embeddings de dimension 512. La boucle d'optimisation s'exécute de 50 à 500 itérations, avec un taux d'apprentissage autour de 0,1 dans l'espace latent. L'augmentation de données, comme les recadrages aléatoires et les retournements, est appliquée à l'image décodée avant de calculer la perte CLIP pour réduire le surapprentissage à des motifs de pixels spécifiques. Certaines implémentations utilisent une technique de « découpe » où plusieurs recadrages aléatoires sont évalués et moyennés. L'image finale est décodée à partir du code latent optimisé et peut être suréchantillonnée à l'aide de méthodes séparées.
Plusieurs logiciels, y compris les notebooks populaires « CLIP Guided Diffusion » et « VQGAN-CLIP », ont rendu la méthode facile à utiliser. Ceux-ci incluaient souvent des fonctionnalités comme la planification de prompts, où le prompt textuel change au fil des itérations, et des « images d'initialisation » pour guider la génération à partir d'une image de départ. La flexibilité de la méthode et sa faible barrière à l'entrée ont été essentielles à son adoption généralisée.