Stable Diffusion ist ein Deep-Learning-Modell zur Text-zu-Bild-Generierung, das im August 2022 veröffentlicht wurde. Es wurde von Forschern der CompVis-Gruppe an der LMU München und Runway entwickelt, mit Rechenunterstützung von Stability AI und Trainingsdaten von gemeinnützigen Organisationen. Es handelt sich um ein latentes Diffusionsmodell, eine Art tiefes generatives künstliches neuronales Netz, und gilt als ein führendes Produkt von Stability AI, das zum anhaltenden KI-Boom beiträgt. Der Code und die Gewichte des Modells wurden öffentlich freigegeben, sodass es auf Consumer-Hardware mit bescheidenen GPUs (ab etwa 2,4 GB VRAM) ausgeführt werden kann - ein Unterschied zu proprietären Modellen wie DALL-E und Midjourney, die nur über Cloud-Dienste zugänglich waren.
Der Hauptanwendungsfall ist die Erzeugung detaillierter Bilder, die durch Textbeschreibungen konditioniert werden, aber es unterstützt auch Aufgaben wie Inpainting, Outpainting und Bild-zu-Bild-Übersetzung, die durch Text-Prompts gesteuert werden. Seine Open-Source-Natur und Effizienz führten zu einer schnellen Übernahme in verschiedenen Anwendungen, von digitaler Kunst bis hin zur Forschung.
Entwicklung
Stable Diffusion entstand aus einem Projekt namens latente Diffusion, das in Deutschland von Forschern der LMU München und der Universität Heidelberg entwickelt wurde. Vier der ursprünglich fünf Autoren (Robin Rombach, Andreas Blattmann, Patrick Esser und Dominik Lorenz) traten später Stability AI bei und veröffentlichten nachfolgende Versionen. Die technische Lizenz wurde von der CompVis-Gruppe an der LMU München freigegeben. Die Entwicklung wurde von Patrick Esser von Runway und Robin Rombach von CompVis geleitet, die zu den Erfindern der latenten Diffusionsarchitektur gehörten. Stability AI nannte auch EleutherAI und LAION, eine deutsche gemeinnützige Organisation, die den Trainingsdatensatz zusammenstellte, als Unterstützer.
Technologie
Architektur
Diffusionsmodelle, die 2015 eingeführt wurden, werden darauf trainiert, aufeinanderfolgende Anwendungen von Gaußschem Rauschen auf Trainingsbildern zu entfernen, und fungieren als eine Sequenz von Denoising-Autoencodern. Der Name leitet sich von der thermodynamischen Diffusion ab, da sie von der Thermodynamik inspiriert wurden. Stable Diffusion verwendet eine Variante namens latentes Diffusionsmodell (LDM), die 2021 von der CompVis-Gruppe entwickelt wurde.
Das Modell besteht aus drei Teilen: einem variationalen Autoencoder (VAE), einem U-Net und einem optionalen Text-Encoder. Der VAE-Encoder komprimiert Bilder vom Pixelraum in einen kleineren latenten Raum und erfasst dabei die semantische Bedeutung. Gaußsches Rauschen wird während der Vorwärtsdiffusion iterativ auf die komprimierte latente Darstellung angewendet. Das U-Net, das aus einem ResNet-Backbone besteht, entfernt das Rauschen aus der Ausgabe, um eine latente Darstellung zu erhalten. Schließlich erzeugt der VAE-Decoder das endgültige Bild, indem er die Darstellung zurück in den Pixelraum konvertiert.
Der Denoising-Schritt kann über einen Cross-Attention-Mechanismus mit Text, Bildern oder anderen Modalitäten konditioniert werden. Für die Textkonditionierung transformiert ein fester, vortrainierter CLIP-ViT-L/14-Text-Encoder Prompts in einen Einbettungsraum. LDMs bieten eine erhöhte Recheneffizienz für Training und Generierung. Mit 860 Millionen Parametern im U-Net und 123 Millionen im Text-Encoder ist Stable Diffusion nach den Standards von 2022 relativ leichtgewichtig und kann auf Consumer-GPUs und sogar nur mit CPU über die OpenVINO-Version ausgeführt werden.
SD XL
Die XL-Version verwendet dieselbe LDM-Architektur, jedoch größer: ein größeres UNet-Backbone, einen größeren Cross-Attention-Kontext, zwei Text-Encoder anstelle von einem und Training auf mehreren Seitenverhältnissen. Der gleichzeitig veröffentlichte SD-XL-Refiner hat dieselbe Architektur, wurde jedoch darauf trainiert, feine Details zu vorhandenen Bildern über textbedingtes img2img hinzuzufügen.
SD 3.0
Die Version 3.0 ändert das Backbone vollständig und verwendet einen Rectified-Flow-Transformer anstelle eines UNet. Die Transformer-Architektur hat drei Spuren: ursprüngliche Textkodierung, transformierte Textkodierung und Bildkodierung (im latenten Raum). Die transformierte Textkodierung und die Bildkodierung werden in jedem Transformer-Block gemischt. Diese Architektur wird als "multimodaler Diffusionstransformer (MMDiT)" bezeichnet, wobei "multimodal" bedeutet, dass er Text- und Bildkodierungen innerhalb seiner Operationen mischt, was sich von früheren DiT-Versionen unterscheidet, bei denen die Textkodierung nur die Bildkodierung beeinflusste.
Trainingsdaten
Stable Diffusion wurde auf Bild-Untertitel-Paaren aus LAION-5B trainiert, einem öffentlich verfügbaren Datensatz, der aus Common-Crawl-Daten abgeleitet wurde und 5 Milliarden Bild-Text-Paare enthält, die nach Sprache, Auflösung, Wasserzeichenwahrscheinlichkeit und vorhergesagtem ästhetischem Score gefiltert wurden. Der Datensatz wurde von LAION erstellt, einer deutschen gemeinnützigen Organisation, die von Stability AI finanziert wurde. Das Modell wurde auf drei Teilmengen trainiert: laion2B-en, laion-high-resolution und laion-aesthetics v2 5+. Eine Drittanbieter-Analyse einer kleineren Teilmenge von 12 Millionen Bildern ergab, dass etwa 47 % aus 100 verschiedenen Domänen stammten, wobei Pinterest 8,5 % ausmachte, gefolgt von WordPress, Blogspot, Flickr, DeviantArt und Wikimedia Commons. Eine Untersuchung des Bayerischen Rundfunks ergab, dass die auf Hugging Face gehosteten LAION-Datensätze große Mengen privater und sensibler Daten enthalten.
Trainingsverfahren
Das Modell wurde zunächst auf laion2B-en und laion-high-resolution trainiert, mit letzten Runden auf LAION-Aesthetics v2 5+, einer Teilmenge von 600 Millionen beschrifteten Bildern, von denen vorhergesagt wurde, dass sie einen Score von mindestens 5 von 10 für ästhetische Qualität erhalten. Diese Teilmenge schloss Bilder mit niedriger Auflösung und solche mit einer Wasserzeichenwahrscheinlichkeit von mehr als 80 % aus. In den letzten Trainingsrunden wurden 10 % der Textkonditionierung weggelassen, um die Classifier-Free-Diffusion-Guidance zu verbessern. Das Modell wurde mit 256 Nvidia-A100-GPUs auf Amazon Web Services für insgesamt 150.000 GPU-Stunden trainiert, zu Kosten von 600.000 US-Dollar.
Einschränkungen
Stable Diffusion hat bekannte Einschränkungen, darunter Schwierigkeiten mit komplexen Szenen, anatomische Ungenauigkeiten (z. B. Hände) und Verzerrungen in den Trainingsdaten. Es kann auch Bilder erzeugen, die gesellschaftliche Vorurteile widerspiegeln, die im Datensatz vorhanden sind. Das Modell kann bei der Textdarstellung und feinen Details Schwierigkeiten haben, und seine Leistung variiert je nach Prompt. Ab 2024 adressiert laufende Forschung diese Probleme durch Feinabstimmung und architektonische Verbesserungen.
Auswirkungen und Übernahme
Die öffentliche Veröffentlichung von Stable Diffusion im August 2022 markierte eine bedeutende Verschiebung in der generativen KI und machte hochwertige Text-zu-Bild-Generierung einem breiten Publikum zugänglich. Seine Open-Source-Lizenz ermöglichte es Entwicklern, es in verschiedene Anwendungen zu integrieren, von Kunstwerkzeugen bis hin zu Bildungsplattformen. Die Effizienz des Modells ermöglichte den Betrieb auf Consumer-Hardware und förderte eine Gemeinschaft von Hobbyisten und Forschern. Diese Veröffentlichung löste auch Diskussionen über Urheberrecht, Ethik und den potenziellen Missbrauch von KI-generierten Inhalten aus. Stability AI veröffentlichte weiterhin verbesserte Versionen wie SD XL und SD 3.0 und behielt seine Position im sich schnell entwickelnden Bereich der künstlichen Intelligenz bei.
Zukünftige Richtungen
Nachfolgende Versionen von Stable Diffusion haben verschiedene Architekturen untersucht, wie den Rectified-Flow-Transformer in SD 3.0, um Qualität und Effizienz zu verbessern. Die Forschung konzentriert sich weiterhin auf die Reduzierung von Verzerrungen, die Verbesserung der Steuerbarkeit und die Integration mit anderen Modalitäten. Der Erfolg des Modells hat andere Machine-Learning-Projekte beeinflusst und zum breiteren KI-Boom beigetragen, mit Auswirkungen auf Deep Learning und neuronale Netze. Ab 2025 bleibt Stable Diffusion ein Maßstab in der Text-zu-Bild-Generierung, mit fortlaufender Gemeinschafts- und Unternehmensentwicklung.