Stable Diffusion XL (SDXL) est un modèle d'apprentissage profond de type texte-vers-image, publié par Stability AI en juillet 2023. Il s'agit d'une version améliorée du modèle Stable Diffusion original, conçue pour générer des images de résolution supérieure avec davantage de détails et une précision compositionnelle accrue. SDXL s'inscrit dans le contexte plus large de l'essor de la IA générative et représente une avancée significative dans le domaine des modèles de diffusion, rendant la synthèse d'images de haute qualité accessible à un public plus large.
Le modèle est principalement utilisé pour générer des images détaillées à partir de descriptions textuelles, mais il prend également en charge des tâches telles que l'inpainting, l'outpainting et la traduction d'image à image guidée par une invite textuelle. Contrairement aux systèmes propriétaires antérieurs comme DALL-E et Midjourney, qui n'étaient accessibles que via des services cloud, le code et les poids de SDXL ont été publiés publiquement, permettant de l'exécuter sur du matériel grand public avec des GPU modestes. Cette ouverture a marqué une rupture par rapport aux modèles texte-vers-image précédents et a contribué à l'adoption rapide des technologies Stable Diffusion.
Développement
SDXL a été développé par Stability AI en collaboration avec des chercheurs du groupe CompVis de l'Université Louis-et-Maximilien de Munich et de Runway, avec le soutien computationnel de Stability AI et des données d'entraînement provenant d'organisations à but non lucratif. Le projet s'appuie sur l'architecture du modèle de diffusion latent (LDM), inventée en 2021 par des chercheurs de l'Université Louis-et-Maximilien de Munich et de l'Université de Heidelberg, notamment Robin Rombach, Andreas Blattmann, Patrick Esser et Dominik Lorenz. Ces chercheurs ont ensuite rejoint Stability AI pour développer les versions ultérieures de Stable Diffusion.
La licence technique du modèle a été publiée par le groupe CompVis, et le développement a été dirigé par Patrick Esser de Runway et Robin Rombach de CompVis. Stability AI a également crédité EleutherAI et LAION, une organisation allemande à but non lucratif ayant constitué l'ensemble de données d'entraînement, comme soutiens. La publication de SDXL a suivi le succès du Stable Diffusion original en 2022 et visait à remédier aux limitations en matière de résolution et de détails.
Technologie
Architecture
SDXL utilise une variante des modèles de diffusion appelée modèles de diffusion latents (LDM), développée en 2021. Les modèles de diffusion, introduits en 2015, sont entraînés à éliminer les applications successives de bruit gaussien à partir d'images d'entraînement, fonctionnant comme une séquence d'autoencodeurs de débruitage. Le nom « diffusion » provient de la diffusion thermodynamique, car les modèles ont été inspirés par la thermodynamique.
SDXL se compose de trois parties principales : un autoencodeur variationnel (VAE), un U-Net et un encodeur de texte optionnel. L'encodeur VAE compresse une image de l'espace des pixels vers un espace latent de dimension réduite, capturant la signification sémantique de l'image. Un bruit gaussien est appliqué de manière itérative à la représentation latente compressée pendant la diffusion directe. Le bloc U-Net, composé d'un réseau de base ResNet, débruite la sortie pour obtenir une représentation latente. Enfin, le décodeur VAE génère l'image finale en reconvertissant la représentation dans l'espace des pixels.
L'étape de débruitage peut être conditionnée par du texte, une image ou une autre modalité. Les données de conditionnement encodées sont exposées au U-Net de débruitage via un mécanisme d'attention croisée. Pour le conditionnement textuel, SDXL utilise deux encodeurs de texte au lieu d'un seul, ce qui améliore la capacité du modèle à comprendre des invites complexes. Le contexte d'attention croisée plus large et l'entraînement multi-format permettent à SDXL de générer des images à diverses résolutions, et non seulement au format carré des versions précédentes.
Avec 860 millions de paramètres dans le U-Net et 123 millions dans l'encodeur de texte, SDXL est relativement léger par rapport à d'autres modèles de son époque, ce qui permet de l'exécuter sur des GPU grand public avec aussi peu que 2,4 Go de VRAM. Une version optimisée peut même fonctionner sur CPU uniquement en utilisant OpenVINO.
SD XL Refiner
Parallèlement à SDXL, Stability AI a publié le SD XL Refiner, qui possède la même architecture mais a été spécifiquement entraîné pour ajouter des détails fins à des images préexistantes via une traduction d'image à image conditionnée par du texte. Ce modèle de raffinement permet aux utilisateurs d'améliorer les images générées de manière itérative.
Données d'entraînement
SDXL a été entraîné sur des paires d'images et de légendes provenant de LAION-5B, un ensemble de données accessible au public dérivé des données Common Crawl extraites du web. L'ensemble de données contient 5 milliards de paires image-texte, filtrées par langue, résolution, probabilité de filigrane et score esthétique. L'entraînement a utilisé trois sous-ensembles : laion2B-en, laion-high-resolution et laion-aesthetics v2 5+. Ce dernier sous-ensemble comprend 600 millions d'images avec des scores esthétiques prédits d'au moins 5 sur 10, excluant les images de basse résolution et celles comportant des filigranes.
Une analyse tierce des données d'entraînement a révélé qu'environ 47 % d'un sous-ensemble plus petit de 12 millions d'images provenaient de 100 domaines différents, Pinterest représentant 8,5 %, suivi de WordPress, Blogspot, Flickr, DeviantArt et Wikimedia Commons. Une enquête de Bayerischer Rundfunk a constaté que les ensembles de données de LAION contenaient de grandes quantités de données privées et sensibles, soulevant des préoccupations en matière de confidentialité.
Procédures d'entraînement
Le modèle a d'abord été entraîné sur laion2B-en et laion-high-resolution, avec des étapes finales sur LAION-Aesthetics v2 5+. L'entraînement a abandonné 10 % du conditionnement textuel pour améliorer le guidage de diffusion sans classifieur. SDXL a été entraîné en utilisant 256 GPU Nvidia A100 sur Amazon Web Services pour un total de 150 000 heures GPU, à un coût de 600 000 dollars.
Limitations
Comme d'autres modèles de diffusion, SDXL présente des limitations, notamment des problèmes de dégradation dans certains scénarios. Il peut avoir du mal avec les détails fins, tels que les mains ou le texte, et peut produire des artefacts. Les données d'entraînement du modèle introduisent également des biais et des problèmes potentiels de confidentialité, comme l'ont noté les enquêtes. À sa sortie, SDXL était considéré comme une amélioration significative par rapport aux versions antérieures, mais nécessitait toujours une ingénierie d'invite minutieuse pour des résultats optimaux.
Impact
La publication de SDXL a contribué à l'essor de l'IA en démocratisant la génération de texte-vers-image de haute qualité. Sa disponibilité ouverte a permis aux développeurs et aux artistes de l'intégrer dans diverses applications, de la création artistique au design. L'architecture du modèle a influencé les développements ultérieurs dans les modèles basés sur la diffusion latente et le transformer, y compris le SD 3.0 ultérieur, qui a remplacé le U-Net par un transformer à flux rectifié.
SDXL a également suscité des discussions sur le droit d'auteur, l'éthique et l'impact sociétal de l'IA générative, car il a permis la création généralisée d'images réalistes. Ses données d'entraînement, provenant du web, ont soulevé des questions sur le consentement et l'utilisation des données, conduisant à des débats en cours dans la communauté de l'IA.
Voir aussi
- Publication publique de Stable Diffusion
- Article sur les modèles de diffusion
- CLIP
- Autoencodeur variationnel
- U-Net
- ResNet
- Mécanisme d'attention
- LAION
- EleutherAI
- Runway
- Robin Rombach
- Stability AI