Stable Diffusion ist ein Deep-Learning-Modell zur Text-zu-Bild-Generierung, das 2022 von Stability AI veröffentlicht wurde und auf Diffusionstechniken basiert. Es wird hauptsächlich verwendet, um detaillierte Bilder zu erzeugen, die durch Textbeschreibungen konditioniert werden, kann aber auch für Aufgaben wie Inpainting, Outpainting und Bild-zu-Bild-Übersetzungen eingesetzt werden, die durch einen Textprompt gesteuert werden. Das Modell gilt als Teil des anhaltenden generativen KI-Booms und markierte eine Abkehr von früheren proprietären Text-zu-Bild-Modellen wie DALL-E und Midjourney, die nur über Cloud-Dienste zugänglich waren.
Stable Diffusion ist ein latentes Diffusionsmodell, eine Art tiefes generatives künstliches neuronales Netzwerk. Sein Code und seine Modellgewichte wurden öffentlich freigegeben, und eine optimierte Version kann auf den meisten Consumer-Hardware mit einer bescheidenen GPU mit nur 2,4 GB VRAM ausgeführt werden. Diese Zugänglichkeit unterschied es von früheren Modellen und trug zu seiner weiten Verbreitung bei.
Entwicklung
Stable Diffusion entstand aus einem Projekt namens Latent Diffusion, das in Deutschland von Forschern der LMU München und der Universität Heidelberg entwickelt wurde. Vier der ursprünglichen fünf Autoren - Robin Rombach, Andreas Blattmann, Patrick Esser und Dominik Lorenz - schlossen sich später Stability AI an und veröffentlichten nachfolgende Versionen des Modells. Die technische Lizenz wurde von der CompVis-Gruppe an der LMU München freigegeben, wobei die Entwicklung von Patrick Esser von Runway und Robin Rombach von CompVis geleitet wurde, die zuvor die Latent-Diffusion-Architektur erfunden hatten. Stability AI nannte auch EleutherAI und LAION, eine deutsche Non-Profit-Organisation, die den Trainingsdatensatz zusammenstellte, als Unterstützer.
Technologie
Architektur
Diffusionsmodelle, die 2015 eingeführt wurden, werden darauf trainiert, aufeinanderfolgende Anwendungen von Gaußschem Rauschen auf Trainingsbildern zu entfernen, ähnlich einer Sequenz von Denoising-Autoencodern. Der Name leitet sich von der thermodynamischen Diffusion ab, da die ursprüngliche Entwicklung von der Thermodynamik inspiriert war. Modelle der Stable-Diffusion-Serie vor SD 3 verwendeten eine Variante namens Latent Diffusion Model (LDM), die 2021 von der CompVis-Gruppe an der LMU München entwickelt wurde.
Stable Diffusion besteht aus drei Teilen: einem variationalen Autoencoder (VAE), einem U-Net und einem optionalen Textencoder. Der VAE-Encoder komprimiert Bilder vom Pixelraum in einen kleineren latenten Raum und erfasst dabei die grundlegende semantische Bedeutung. Gaußsches Rauschen wird während der Vorwärtsdiffusion iterativ auf die komprimierte latente Darstellung angewendet. Der U-Net-Block, der aus einem ResNet-Backbone besteht, entrauscht die Ausgabe, um eine latente Darstellung zu erhalten, und der VAE-Decoder erzeugt das endgültige Bild, indem er die Darstellung zurück in den Pixelraum konvertiert.
Der Denoising-Schritt kann über einen Cross-Attention-Mechanismus mit Text, einem Bild oder einer anderen Modalität konditioniert werden. Für die Textkonditionierung transformiert ein fester, vortrainierter CLIP-ViT-L/14-Textencoder Prompts in einen Einbettungsraum. Forscher weisen auf die erhöhte Recheneffizienz für Training und Generierung als Vorteil von LDMs hin. Mit 860 Millionen Parametern im U-Net und 123 Millionen im Textencoder ist Stable Diffusion nach den Standards von 2022 relativ leichtgewichtig und kann auf Consumer-GPUs oder sogar nur mit CPU über die OpenVINO-Version ausgeführt werden.
#### SD XL
Die XL-Version verwendet dieselbe LDM-Architektur, jedoch größer: ein größeres UNet-Backbone, einen größeren Cross-Attention-Kontext, zwei Textencoder statt einem und Training auf mehreren Seitenverhältnissen. Der gleichzeitig veröffentlichte SD XL Refiner hat dieselbe Architektur, wurde jedoch darauf trainiert, feine Details zu bereits vorhandenen Bildern hinzuzufügen, und zwar über textkonditioniertes img2img.
#### SD 3.0
Die Version 3.0 ändert das Backbone vollständig und verwendet einen Rectified Flow Transformer anstelle eines UNet. Die Architektur hat drei Spuren für ursprüngliche Textkodierung, transformierte Textkodierung und Bildkodierung im latenten Raum, wobei die letzten beiden in jedem Transformer-Block gemischt werden. Sie wird als "multimodaler Diffusionstransformer" (MMDiT) bezeichnet, was widerspiegelt, dass sie Text- und Bildkodierungen intern mischt, im Gegensatz zu früheren DiT-Versionen, bei denen Text das Bild beeinflusst, aber nicht umgekehrt.
Trainingsdaten
Stable Diffusion wurde auf Bild-Text-Paaren aus LAION-5B trainiert, einem öffentlich verfügbaren Datensatz, der aus Common-Crawl-Webdaten abgeleitet wurde. LAION-5B enthält 5 Milliarden Bild-Text-Paare, die nach Sprache klassifiziert und nach Auflösung, Wasserzeichenwahrscheinlichkeit und vorhergesagtem ästhetischem Score gefiltert wurden. Der Datensatz wurde von LAION erstellt, einer deutschen Non-Profit-Organisation, die von Stability AI finanziert wird. Das Modell wurde auf drei Teilmengen trainiert: laion2B-en, laion-high-resolution und laion-aesthetics v2 5+. Eine Drittanbieter-Analyse einer kleineren Teilmenge von 12 Millionen Bildern ergab, dass etwa 47% aus 100 Domains stammten, wobei Pinterest 8,5% ausmachte, gefolgt von WordPress, Blogspot, Flickr, DeviantArt und Wikimedia Commons. Eine Untersuchung des Bayerischen Rundfunks zeigte, dass LAIONs Datensätze, die auf Hugging Face gehostet werden, große Mengen privater und sensibler Daten enthalten.
Trainingsverfahren
Das Modell wurde zunächst auf laion2B-en und laion-high-resolution trainiert, mit abschließenden Runden auf LAION-Aesthetics v2 5+, einer Teilmenge von 600 Millionen beschrifteten Bildern, von denen vorhergesagt wurde, dass sie von menschlichen Bewertern eine Punktzahl von mindestens 5 von 10 erhalten würden. Diese Teilmenge schloss Bilder mit niedriger Auflösung und solche mit einer vorhergesagten Wasserzeichenwahrscheinlichkeit von über 80% aus. In den abschließenden Trainingsrunden wurden 10% der Textkonditionierung weggelassen, um die Classifier-Free Diffusion Guidance zu verbessern. Das Modell wurde mit 256 Nvidia-A100-GPUs auf Amazon Web Services für 150.000 GPU-Stunden trainiert, zu Kosten von 600.000 US-Dollar.
Einschränkungen
Stable Diffusion hat bekannte Probleme mit Degradation, wie Schwierigkeiten bei der Darstellung von Händen und Text, und kann aufgrund der Trainingsdaten verzerrte oder schädliche Inhalte erzeugen. Die öffentliche Veröffentlichung warf Bedenken hinsichtlich Missbrauchs auf, einschließlich Deepfakes und Urheberrechtsverletzungen, was zu anhaltenden Debatten über Regulierung und ethische Nutzung in der Machine-Learning-Gemeinschaft führte.
Auswirkungen
Die Veröffentlichung von Stable Diffusion im Jahr 2022 beschleunigte die Deep-Learning-Kunstbewegung erheblich und ermöglichte Hobbyisten und Künstlern, qualitativ hochwertige Bilder auf persönlicher Hardware zu erzeugen. Es beeinflusste nachfolgende Text-zu-Bild-Modelle und trug zum breiteren KI-Boom bei, mit Anwendungen in Kunst, Design und Inhaltserstellung. Der Open-Source-Charakter des Modells förderte ein großes Ökosystem von Community-Tools und feinabgestimmten Varianten, obwohl es auch Diskussionen über geistiges Eigentum und die Zukunft kreativer Arbeit auslöste.
Rezeption und Vermächtnis
Das Modell erhielt breite Aufmerksamkeit für seine technischen Errungenschaften und Zugänglichkeit. Es wurde für seine Effizienz und Qualität gelobt, aber auch für potenziellen Missbrauch kritisiert. Stand 2025 bleibt Stable Diffusion eine grundlegende Referenz in der generativen KI, mit laufender Entwicklung durch Stability AI und die Open-Source-Gemeinschaft. Seine Architektur und sein Trainingsansatz wurden in zahlreichen nachfolgenden Modellen übernommen, was sein Vermächtnis in diesem Bereich festigt.