En août 2022, Stability AI a publié publiquement Stable Diffusion, un modèle de deep learning texte-image basé sur des techniques de diffusion. C'est le produit phare de Stability AI et il est considéré comme un élément clé du boom de l'IA en cours. Stable Diffusion génère principalement des images détaillées à partir de descriptions textuelles, mais prend également en charge des tâches telles que l'Inpainting, l'outpainting et la traduction image-à-image guidée par une invite. Son code et ses poids de modèle ont été publiés publiquement, permettant à des versions de fonctionner sur la plupart des matériels grand public avec aussi peu que 2,4 Go de VRAM - une rupture par rapport aux modèles propriétaires comme DALL-E et Midjourney, qui n'étaient accessibles que via des services cloud.
Le développement a impliqué des chercheurs du groupe CompVis de l'Université LMU de Munich et de Runway, avec un don de calcul de Stability AI et des données d'entraînement provenant d'organisations à but non lucratif. Le modèle est un modèle de diffusion latent (LDM), un type de réseau neuronal artificiel génératif profond. Son architecture, ses procédures d'entraînement et son impact culturel ont été largement étudiés.
Développement
Stable Diffusion est issu d'un projet appelé diffusion latente, développé en Allemagne par des chercheurs de l'Université LMU de Munich et de l'Université de Heidelberg. Quatre des cinq auteurs originaux - Robin Rombach, Andreas Blattmann, Patrick Esser et Dominik Lorenz - ont ensuite rejoint Stability AI et publié des versions ultérieures. La licence technique du modèle a été publiée par le groupe CompVis de l'Université LMU de Munich. Le développement a été dirigé par Patrick Esser de Runway et Robin Rombach de CompVis, qui figuraient parmi les chercheurs ayant précédemment inventé l'architecture de modèle de diffusion latent utilisée par Stable Diffusion. Stability AI a également crédité EleutherAI et LAION, une organisation allemande à but non lucratif qui a assemblé le jeu de données sur lequel Stable Diffusion a été entraîné, comme soutiens.
Technologie
Architecture
Les modèles de diffusion, introduits en 2015, sont entraînés à éliminer les applications successives de bruit gaussien sur les images d'entraînement, une séquence d'autoencodeurs de débruitage. Le nom de diffusion dérive de la diffusion thermodynamique, car la technique a été inspirée par la thermodynamique. Les modèles de la série Stable Diffusion antérieurs à SD 3 utilisaient une variante appelée diffusion latente, développée en 2021 par le groupe CompVis de l'Université LMU de Munich.
Stable Diffusion se compose de trois parties : un autoencodeur variationnel (VAE), un U-Net et un encodeur de texte optionnel. L'encodeur VAE compresse les images de l'espace des pixels à un espace latent de plus petite dimension, capturant la signification sémantique fondamentale. Un bruit gaussien est appliqué de manière itérative à la représentation latente compressée pendant la diffusion directe. Le U-Net, composé d'un backbone ResNet, débruite la sortie en arrière pour obtenir une représentation latente. Le décodeur VAE génère ensuite l'image finale en convertissant la représentation de retour à l'espace des pixels.
L'étape de débruitage peut être conditionnée par du texte, une image ou une autre modalité. Les données de conditionnement encodées sont exposées aux U-Nets de débruitage via un mécanisme de attention croisée. Pour le conditionnement par texte, un encodeur de texte CLIP ViT-L/14 fixe et pré-entraîné transforme les invites en un espace d'incorporation. Les chercheurs citent une efficacité de calcul accrue comme un avantage des LDM. Avec 860 millions de paramètres dans le U-Net et 123 millions dans l'encodeur de texte, Stable Diffusion est relativement léger selon les normes de 2022 et peut fonctionner sur des GPU grand public, ou même uniquement sur CPU en utilisant la version OpenVINO.
#### SD XL
La version XL utilise la même architecture LDM que les versions précédentes mais est plus grande, avec un backbone U-Net plus grand, un contexte d'attention croisée plus large, deux encodeurs de texte au lieu d'un, et un entraînement sur plusieurs ratios d'aspect (pas seulement carrés). Le SD XL Refiner, publié en même temps, a la même architecture mais a été entraîné pour ajouter des détails fins à des images préexistantes via img2img conditionné par texte.
#### SD 3.0
La version 3.0 change entièrement le backbone, utilisant un Rectified Flow Transformer au lieu d'un U-Net, implémentant la méthode de flux rectifié avec un Transformer. L'architecture, nommée « transformateur de diffusion multimodal » (MMDiT), a trois pistes pour l'encodage de texte original, l'encodage de texte transformé et l'encodage d'image dans l'espace latent. Les encodages de texte transformé et d'image sont mélangés pendant chaque bloc de transformateur. Cela diffère des versions DiT précédentes où l'encodage de texte affectait l'encodage d'image mais pas l'inverse.
Données d'entraînement
Stable Diffusion a été entraîné sur des paires d'images et de légendes provenant de LAION-5B, un jeu de données publiquement disponible dérivé des données Common Crawl. Les 5 milliards de paires image-texte ont été filtrées par langue, résolution, probabilité prédite de filigrane et score esthétique. Le jeu de données a été créé par LAION, une organisation allemande à but non lucratif recevant un financement de Stability AI. Le modèle a été entraîné sur trois sous-ensembles : laion2B-en, laion-high-resolution et laion-aesthetics v2 5+. Une analyse tierce a révélé que sur un sous-ensemble plus petit de 12 millions d'images, environ 47 % provenaient de 100 domaines, avec Pinterest représentant 8,5 %, suivi de WordPress, Blogspot, Flickr, DeviantArt et Wikimedia Commons. Une enquête de Bayerischer Rundfunk a montré que les jeux de données de LAION contenaient de grandes quantités de données privées et sensibles.
Procédures d'entraînement
Le modèle a d'abord été entraîné sur laion2B-en et laion-high-resolution, avec des tours finaux sur LAION-Aesthetics v2 5+, un sous-ensemble de 600 millions d'images légendées prédites pour obtenir un score d'au moins 5 sur 10 en qualité esthétique. Ce sous-ensemble excluait les images à basse résolution et celles avec des filigranes détectés avec une probabilité supérieure à 80 %. Les tours finaux ont réduit de 10 % le conditionnement par texte pour améliorer le guidage de diffusion sans classifieur. L'entraînement a utilisé 256 GPU Nvidia A100 sur Amazon Web Services pour 150 000 heures GPU, coûtant 600 000 $.
Limitations
Stable Diffusion a des problèmes de dégradation, en particulier lors de la génération de compositions complexes, de mains ou de texte. Il peut présenter des biais provenant des données d'entraînement, et sa tendance à répliquer des styles artistiques a soulevé des préoccupations en matière de droits d'auteur. La nature ouverte du modèle a également permis un usage abusif pour générer de la désinformation ou des images non consensuelles, suscitant des discussions sur la modération du contenu et le déploiement éthique.
Publication et disponibilité
La publication publique du 22 août 2022 via Stability AI a rendu le modèle disponible en tant que poids ouverts. Cela contrastait avec DALL-E et Midjourney, qui étaient fermés et uniquement cloud. Stable Diffusion pouvait être téléchargé et exécuté localement, conduisant à une adoption rapide et à une prolifération de versions affinées. Une version optimisée nécessitait des spécifications GPU modestes, avec aussi peu que 2,4 Go de VRAM, élargissant l'accès.
Impact
Stable Diffusion a catalysé l'engagement public avec l'art IA, engendrant des communautés et des outils. Il a influencé le développement de modèles ultérieurs et a contribué au boom de l'IA. Ses poids ouverts ont stimulé l'innovation mais ont également soulevé des questions juridiques et éthiques sur la provenance des données et les droits d'auteur.
Versions ultérieures
Après la publication initiale, Stability AI a publié des versions améliorées, notamment SD 2.0, SD XL et SD 3.0. SD XL a introduit des améliorations architecturales, tandis que SD 3.0 a adopté un backbone basé sur un transformateur. Ces versions ont poursuivi le modèle de publications publiques, bien que des changements dans les licences et une focalisation sur l'utilisation commerciale aient été notés.
Réception et controverse
Stable Diffusion a été salué pour ses réalisations techniques et son accessibilité, mais a également fait face à des critiques concernant les problèmes de données d'entraînement, les biais et les abus potentiels. Des défis juridiques d'artistes et d'agences de photos de stock ont émergé, remettant en question la légalité de l'entraînement sur des images extraites. Ces controverses ont façonné les débats en cours dans la politique de l'IA générative.