Stable Diffusion est un modèle de génération texte-à-image publié publiquement le 22 août 2022, développé par des chercheurs du groupe CompVis de l'Université Louis-et-Maximilien de Munich en collaboration avec Stability AI et Runway, s'appuyant sur des travaux académiques antérieurs sur les modèles de diffusion latente. Sa publication en tant que modèle à poids ouverts, contrairement aux concurrents fermés, en a fait l'une des publications les plus marquantes des débuts de l'histoire de l'IA générative d'images grand public.
Approche technique
Stable Diffusion repose sur la technique du modèle de diffusion consistant à apprendre à inverser un processus progressif de bruitage, mais se distingue en effectuant ce processus dans un espace latent compressé plutôt que directement sur les pixels, une approche décrite dans l'article « High-Resolution Image Synthesis with Latent Diffusion Models » co-écrit par Robin Rombach. Opérer dans l'espace latent a considérablement réduit le coût computationnel de l'entraînement et de l'exécution du modèle par rapport à la diffusion dans l'espace des pixels, le rendant pratique à exécuter sur un seul GPU grand public, un facteur clé de son adoption rapide. Le conditionnement textuel était assuré par un encodeur de texte dérivé de CLIP, permettant au modèle de générer des images correspondant à une invite en langage naturel.
Publication et ouverture
Stability AI, dirigée à l'époque par Emad Mostaque, a financé le calcul pour l'entraînement et a publié publiquement les poids du modèle sous une licence permissive (CreativeML Open RAIL-M), accompagnée d'un code que chacun pouvait exécuter localement. Cela contrastait délibérément avec l'approche par API fermée adoptée par OpenAI avec DALL-E et, plus tard, Midjourney. Les données d'entraînement provenaient en grande partie de l'ensemble de données LAION-5B assemblé par l'organisation à but non lucratif LAION, une vaste collection de paires image-texte extraites du web, qui est devenue plus tard une source de controverse en raison de contenus protégés par le droit d'auteur et, dans un petit sous-ensemble, illégaux, que LAION a travaillé à identifier et à supprimer.
Écosystème
La publication ouverte de Stable Diffusion a déclenché un écosystème communautaire exceptionnellement vaste et en évolution rapide. En quelques mois, les développeurs ont construit des interfaces utilisateur personnalisées, des extensions et des pipelines d'entraînement, et la licence ouverte a permis une vague de points de contrôle entraînés par la communauté et de réglages fins spécifiques à des styles, distribués sur des plateformes comme Hugging Face et Civitai. Des techniques telles que les adaptateurs LoRA et ControlNet, qui permettaient un conditionnement précis sur les poses, les contours et les cartes de profondeur, ont été développées par la communauté et rapidement intégrées aux flux de travail courants, étendant les capacités pratiques du modèle bien au-delà de sa version initiale. Les versions officielles successives (SD 2.0, SDXL, SD3) ont amélioré la qualité d'image et l'adhérence aux invites, bien que certaines mises à jour, en particulier le filtrage plus restrictif des données d'entraînement de SD 2.0, aient suscité des réactions négatives de la communauté pour avoir dégradé certaines capacités.
Réception et impact
Stable Diffusion est largement crédité d'avoir démocratisé l'accès à la génération d'images de haute qualité et d'avoir accéléré le débat public sur l'IA et le droit d'auteur, car sa capacité à fonctionner localement le rendait bien plus difficile à contrôler que les concurrents basés sur des API. Il a également intensifié l'examen des questions de consentement dans les données d'entraînement, contribuant à des poursuites judiciaires de la part d'artistes et d'entreprises d'images de stock, notamment Getty Images. Les fortunes commerciales de Stability AI se sont révélées turbulentes, Mostaque quittant son poste de PDG en 2024 sous la pression du financement, même si le modèle sous-jacent et ses dérivés ouverts ont continué à être largement utilisés et sont restés influents par rapport à des entrants ouverts ultérieurs tels que FLUX.