Stable Diffusion ist ein Deep-Learning-Modell zur Text-zu-Bild-Generierung, das im August 2022 veröffentlicht wurde und auf Diffusionstechniken basiert. Es ist das Flaggschiffprodukt von Stability AI und gilt als Teil des anhaltenden KI-Booms. Das Modell erzeugt detaillierte Bilder, die auf Textbeschreibungen konditioniert sind, und unterstützt auch Aufgaben wie Inpainting, Outpainting und Bild-zu-Bild-Übersetzung, die durch Text-Prompts gesteuert werden. An seiner Entwicklung waren Forscher der CompVis-Gruppe der LMU München und von Runway beteiligt, mit einer Rechenspende von Stability AI und Trainingsdaten von gemeinnützigen Organisationen.
Stable Diffusion ist ein latentes Diffusionsmodell, eine Art tiefes generatives künstliches neuronales Netzwerk. Sein Code und seine Modellgewichte wurden öffentlich veröffentlicht, und eine optimierte Version läuft auf den meisten Consumer-Hardware mit einer bescheidenen GPU und benötigt nur 2,4 GB VRAM. Diese Abkehr von proprietären Text-zu-Bild-Modellen wie DALL-E und Midjourney, die nur über Cloud-Dienste zugänglich waren, machte Stable Diffusion für einzelne Nutzer und Forscher weithin verfügbar.
Entwicklung
Stable Diffusion entstand aus einem Projekt namens Latent Diffusion, das in Deutschland von Forschern der LMU München und der Universität Heidelberg entwickelt wurde. Vier der ursprünglich fünf Autoren - Robin Rombach, Andreas Blattmann, Patrick Esser und Dominik Lorenz - traten später Stability AI bei und veröffentlichten nachfolgende Versionen. Die technische Lizenz wurde von der CompVis-Gruppe der LMU München veröffentlicht. Die Entwicklung wurde von Patrick Esser von Runway und Robin Rombach von CompVis geleitet, die zuvor die Latent-Diffusion-Architektur erfunden hatten. Stability AI nannte außerdem EleutherAI und LAION, eine deutsche Non-Profit-Organisation, die den Trainingsdatensatz zusammenstellte, als Projektunterstützer.
Technologie
Architektur
Diffusionsmodelle, die 2015 eingeführt wurden, werden darauf trainiert, aufeinanderfolgende Anwendungen von Gaußschem Rauschen auf Trainingsbildern zu entfernen, und fungieren als eine Sequenz von Denoising-Autoencodern. Der Name stammt von der thermodynamischen Diffusion, da die Technik von der Thermodynamik inspiriert wurde. Modelle der Stable-Diffusion-Serie vor SD 3 verwendeten eine Variante namens Latent Diffusion Model (LDM), das 2021 von der CompVis-Gruppe der LMU München entwickelt wurde.
Stable Diffusion besteht aus drei Teilen: einem variationalen Autoencoder (VAE), einem U-Net und einem optionalen Text-Encoder. Der VAE-Encoder komprimiert Bilder vom Pixelraum in einen kleineren dimensionalen latenten Raum und erfasst dabei die semantische Bedeutung. Während der Vorwärtsdiffusion wird Gaußsches Rauschen iterativ auf die komprimierte latente Repräsentation angewendet. Der U-Net-Block, der aus einem ResNet-Backbone besteht, denoisiert die Ausgabe rückwärts, um eine latente Repräsentation zu erhalten. Schließlich erzeugt der VAE-Decoder das endgültige Bild, indem er die Repräsentation zurück in den Pixelraum konvertiert.
Der Denoising-Schritt kann auf Text, ein Bild oder eine andere Modalität konditioniert werden. Kodierte Konditionierungsdaten werden über einen Cross-Attention-Mechanismus an die denoisierenden U-Nets weitergegeben. Für die Textkonditionierung transformiert ein fester, vortrainierter CLIP-ViT-L/14-Text-Encoder Prompts in einen Einbettungsraum. Forscher nennen die erhöhte Recheneffizienz für Training und Generierung als Vorteil von LDMs.
Mit 860 Millionen Parametern im U-Net und 123 Millionen im Text-Encoder ist Stable Diffusion nach den Maßstäben von 2022 relativ leichtgewichtig. Im Gegensatz zu anderen Diffusionsmodellen läuft es auf Consumer-GPUs und sogar nur mit CPU, wenn die OpenVINO-Version verwendet wird.
#### SD XL
Die XL-Version verwendet dieselbe LDM-Architektur, ist aber größer: ein größeres UNet-Backbone, ein größerer Cross-Attention-Kontext, zwei Text-Encoder statt einem und Training auf mehreren Seitenverhältnissen statt nur quadratisch. Der gleichzeitig veröffentlichte SD-XL-Refiner hat dieselbe Architektur, wurde aber darauf trainiert, feine Details zu bereits vorhandenen Bildern hinzuzufügen, und zwar über textbedingtes img2img.
#### SD 3.0
Die Version 3.0 ändert das Backbone vollständig. Sie verwendet einen Rectified-Flow-Transformer, der die Rectified-Flow-Methode mit einer Transformer-Architektur implementiert. Die Architektur hat drei Spuren: ursprüngliche Textkodierung, transformierte Textkodierung und Bildkodierung im latenten Raum. Die transformierte Textkodierung und die Bildkodierung werden während jedes Transformer-Blocks gemischt. Dies wird als "multimodaler Diffusions-Transformer (MMDiT)" bezeichnet, wobei multimodal bedeutet, dass es Text- und Bildkodierungen innerhalb seiner Operationen mischt, im Gegensatz zu früheren DiT-Versionen, bei denen die Textkodierung die Bildkodierung beeinflusste, aber nicht umgekehrt.
Trainingsdaten
Stable Diffusion wurde auf Bild-Text-Paaren aus LAION-5B trainiert, einem öffentlich verfügbaren Datensatz, der aus Common-Crawl-Webscrapes abgeleitet wurde. Die 5 Milliarden Bild-Text-Paare wurden nach Sprache klassifiziert und nach Auflösung, vorhergesagter Wasserzeichenwahrscheinlichkeit und vorhergesagtem "ästhetischem" Score in Datensätze gefiltert. LAION, eine deutsche Non-Profit-Organisation, die Mittel von Stability AI erhält, erstellte den Datensatz. Das Modell wurde auf drei Teilmengen trainiert: laion2B-en, laion-high-resolution und laion-aesthetics v2 5+.
Eine Drittanbieter-Analyse einer kleineren Teilmenge von 12 Millionen Bildern ergab, dass etwa 47 % aus 100 Domains stammten, wobei Pinterest 8,5 % ausmachte, gefolgt von WordPress, Blogspot, Flickr, DeviantArt und Wikimedia Commons. Eine Untersuchung des Bayerischen Rundfunks zeigte, dass die LAION-Datensätze, die auf Hugging Face gehostet werden, große Mengen privater und sensibler Daten enthalten.
Trainingsverfahren
Das Modell wurde zunächst auf laion2B-en und laion-high-resolution trainiert, mit letzten Runden auf LAION-Aesthetics v2 5+, einer Teilmenge von 600 Millionen beschrifteten Bildern, von denen vorhergesagt wurde, dass sie mindestens 5 von 10 in menschlichen ästhetischen Bewertungen erhalten würden. Diese Teilmenge schloss Bilder mit niedriger Auflösung und solche mit einer Wasserzeichen-Erkennungswahrscheinlichkeit über 80 % aus. In den letzten Trainingsrunden wurden 10 % der Textkonditionierung weggelassen, um die Classifier-Free Diffusion Guidance zu verbessern. Das Training verwendete 256 Nvidia-A100-GPUs auf Amazon Web Services für 150.000 GPU-Stunden und kostete 600.000 US-Dollar.
Einschränkungen
Stable Diffusion hat Probleme mit Verschlechterung und Artefakten, insbesondere bei komplexen Szenen, menschlicher Anatomie und Textdarstellung. Es kann Verzerrungen aus den Trainingsdaten reproduzieren, einschließlich Stereotypen und schädlicher Inhalte. Das Modell hat Schwierigkeiten mit feinen Details wie Händen und Gesichtern und erzeugt oft verzerrte Ergebnisse. Es hat auch Schwierigkeiten mit kompositorischen Prompts, die mehrere Objekte oder spezifische räumliche Beziehungen beinhalten. Stand 2024 beheben neuere Versionen einige Einschränkungen, stehen aber in diesen Bereichen weiterhin vor Herausforderungen.
Auswirkungen und Rezeption
Die öffentliche Veröffentlichung von Stable Diffusion im August 2022 löste eine breite Diskussion über Ethik generativer KI, Urheberrecht und künstlerische Arbeit aus. Sein Open-Source-Charakter ermöglichte es Entwicklern, Werkzeuge für maschinelles Lernen-Experimente, Datenaugmentierung und kreative Arbeitsabläufe zu erstellen. Die Zugänglichkeit des Modells auf Consumer-Hardware trug zu einem Aufschwung von KI-Kunst-Communities und kommerziellen Anwendungen bei. Stability AI veröffentlichte nachfolgende Versionen, darunter SD XL im Jahr 2023 und SD 3.0 im Jahr 2024, die jeweils Qualität und Fähigkeiten verbesserten. Das Modell beeinflusste auch politische Debatten und führte zu Diskussionen über KI-Regulierung und Inhaltsherkunft.