Im August 2022 veröffentlichte Stability AI öffentlich Stable Diffusion, ein Deep-Learning-Text-zu-Bild-Modell, das auf Diffusionstechniken basiert. Es ist das Flaggschiffprodukt von Stability AI und gilt als Schlüsselbestandteil des anhaltenden KI-Booms. Stable Diffusion erzeugt in erster Linie detaillierte Bilder aus Textbeschreibungen, unterstützt aber auch Aufgaben wie Inpainting, Outpainting und Bild-zu-Bild-Übersetzung, die durch eine Eingabeaufforderung gesteuert werden. Sein Code und seine Modellgewichte wurden öffentlich freigegeben, sodass Versionen auf den meisten Verbraucher-Hardware mit nur 2,4 GB VRAM laufen können - eine Abweichung von proprietären Modellen wie DALL-E und Midjourney, die nur über Cloud-Dienste zugänglich waren.
Die Entwicklung umfasste Forscher der CompVis-Gruppe an der LMU München und Runway, mit einer Rechenspende von Stability AI und Trainingsdaten von gemeinnützigen Organisationen. Das Modell ist ein Latent-Diffusionsmodell (LDM), eine Art tiefes generatives künstliches neuronales Netz. Seine Architektur, Trainingsverfahren und kulturelle Auswirkungen wurden umfassend untersucht.
Entwicklung
Stable Diffusion entstand aus einem Projekt namens Latent Diffusion, das in Deutschland von Forschern der LMU München und der Universität Heidelberg entwickelt wurde. Vier der ursprünglichen fünf Autoren - Robin Rombach, Andreas Blattmann, Patrick Esser und Dominik Lorenz - traten später Stability AI bei und veröffentlichten nachfolgende Versionen. Die technische Lizenz für das Modell wurde von der CompVis-Gruppe an der LMU München freigegeben. Die Entwicklung wurde von Patrick Esser von Runway und Robin Rombach von CompVis geleitet, die zu den Forschern gehörten, die zuvor die latente Diffusionsmodell-Architektur erfunden hatten, die Stable Diffusion verwendet. Stability AI nannte auch EleutherAI und LAION, eine deutsche gemeinnützige Organisation, die den Datensatz zusammenstellte, mit dem Stable Diffusion trainiert wurde, als Unterstützer.
Technologie
Architektur
Diffusionsmodelle, die 2015 eingeführt wurden, werden darauf trainiert, aufeinanderfolgende Anwendungen von Gaußschem Rauschen auf Trainingsbilder zu entfernen, eine Sequenz von Denoising-Autoencodern. Der Name Diffusion leitet sich von der thermodynamischen Diffusion ab, da die Technik von der Thermodynamik inspiriert wurde. Modelle der Stable-Diffusion-Serie vor SD 3 verwendeten eine Variante namens Latent Diffusion, die 2021 von der CompVis-Gruppe an der LMU München entwickelt wurde.
Stable Diffusion besteht aus drei Teilen: einem Variations-Autoencoder (VAE), einem U-Net und einem optionalen Text-Encoder. Der VAE-Encoder komprimiert Bilder vom Pixelraum in einen kleineren dimensionalen latenten Raum und erfasst so die grundlegende semantische Bedeutung. Gaußsches Rauschen wird während der Vorwärtsdiffusion iterativ auf die komprimierte latente Darstellung angewendet. Das U-Net, das aus einem ResNet-Backbone besteht, entrauscht die Ausgabe rückwärts, um eine latente Darstellung zu erhalten. Der VAE-Decoder erzeugt dann das endgültige Bild, indem er die Darstellung zurück in den Pixelraum konvertiert.
Der Denoising-Schritt kann mit Text, einem Bild oder einer anderen Modalität konditioniert werden. Kodierte Konditionierungsdaten werden den Denoising-U-Nets über einen Cross-Attention-Mechanismus ausgesetzt. Bei Textkonditionierung transformiert ein fester, vortrainierter CLIP-ViT-L/14-Text-Encoder Eingabeaufforderungen in einen Embedding-Raum. Forscher nennen erhöhte Recheneffizienz als Vorteil von LDMs. Mit 860 Millionen Parametern im U-Net und 123 Millionen im Text-Encoder ist Stable Diffusion nach den Standards von 2022 relativ leichtgewichtig und kann auf Verbraucher-GPUs oder sogar nur mit CPU mithilfe der OpenVINO-Version laufen.
#### SD XL
Die XL-Version verwendet dieselbe LDM-Architektur wie frühere Versionen, ist aber größer, mit einem größeren U-Net-Backbone, größerem Cross-Attention-Kontext, zwei Text-Encodern anstelle von einem und Training auf mehreren Seitenverhältnissen (nicht nur quadratisch). Der gleichzeitig veröffentlichte SD-XL-Refiner hat dieselbe Architektur, wurde aber darauf trainiert, feine Details zu vorhandenen Bildern durch textbedingtes img2img hinzuzufügen.
#### SD 3.0
Die Version 3.0 ändert das Backbone vollständig und verwendet einen Rectified-Flow-Transformer anstelle eines U-Nets, wobei die Rectified-Flow-Methode mit einem Transformer implementiert wird. Die Architektur, genannt "Multimodal Diffusion Transformer" (MMDiT), hat drei Spuren für die ursprüngliche Textkodierung, transformierte Textkodierung und Bildkodierung im latenten Raum. Die transformierten Text- und Bildkodierungen werden während jedes Transformer-Blocks gemischt. Dies unterscheidet sich von früheren DiT-Versionen, bei denen die Textkodierung die Bildkodierung beeinflusste, aber nicht umgekehrt.
Trainingsdaten
Stable Diffusion wurde auf Paaren von Bildern und Bildunterschriften aus LAION-5B trainiert, einem öffentlich verfügbaren Datensatz, der aus Common-Crawl-Daten abgeleitet wurde. Die 5 Milliarden Bild-Text-Paare wurden nach Sprache, Auflösung, vorhergesagter Wasserzeichen-Wahrscheinlichkeit und ästhetischem Score gefiltert. Der Datensatz wurde von LAION erstellt, einer deutschen gemeinnützigen Organisation, die Mittel von Stability AI erhält. Das Modell wurde auf drei Teilmengen trainiert: laion2B-en, laion-high-resolution und laion-aesthetics v2 5+. Eine Drittanbieter-Analyse ergab, dass in einer kleineren Teilmenge von 12 Millionen Bildern etwa 47 % aus 100 Domänen stammten, wobei Pinterest 8,5 % ausmachte, gefolgt von WordPress, Blogspot, Flickr, DeviantArt und Wikimedia Commons. Eine Untersuchung des Bayerischen Rundfunks zeigte, dass die Datensätze von LAION große Mengen privater und sensibler Daten enthielten.
Trainingsverfahren
Das Modell wurde zunächst auf laion2B-en und laion-high-resolution trainiert, mit letzten Runden auf LAION-Aesthetics v2 5+, einer Teilmenge von 600 Millionen beschrifteten Bildern, von denen vorhergesagt wurde, dass sie mindestens 5 von 10 Punkten in ästhetischer Qualität erreichen. Diese Teilmenge schloss Bilder mit niedriger Auflösung und solche mit erkannten Wasserzeichen mit über 80 % Wahrscheinlichkeit aus. In den letzten Runden wurden 10 % der Textkonditionierung verworfen, um die klassifikatorfreie Diffusionsführung zu verbessern. Das Training verwendete 256 Nvidia-A100-GPUs auf Amazon Web Services für 150.000 GPU-Stunden, was 600.000 US-Dollar kostete.
Einschränkungen
Stable Diffusion hat Probleme mit der Degradation, insbesondere bei der Erzeugung komplexer Kompositionen, Hände oder Text. Es kann Verzerrungen aus den Trainingsdaten aufweisen, und seine Tendenz, künstlerische Stile zu replizieren, hat Urheberrechtsbedenken aufgeworfen. Die Offenheit des Modells ermöglichte auch Missbrauch zur Erzeugung von Desinformation oder nicht einvernehmlichen Bildern, was Diskussionen über Inhaltsmoderation und ethische Bereitstellung anregte.
Veröffentlichung und Verfügbarkeit
Die öffentliche Veröffentlichung am 22. August 2022 über Stability AI machte das Modell als offene Gewichte verfügbar. Dies stand im Gegensatz zu DALL-E und Midjourney, die geschlossen und nur in der Cloud verfügbar waren. Stable Diffusion konnte heruntergeladen und lokal ausgeführt werden, was zu einer schnellen Übernahme und einer Vielzahl feinabgestimmter Versionen führte. Eine optimierte Version erforderte bescheidene GPU-Spezifikationen mit nur 2,4 GB VRAM, was den Zugang erweiterte.
Auswirkungen
Stable Diffusion katalysierte das öffentliche Engagement mit KI-Kunst und brachte Gemeinschaften und Werkzeuge hervor. Es beeinflusste die Entwicklung nachfolgender Modelle und trug zum KI-Boom bei. Seine offenen Gewichte förderten Innovation, warfen aber auch rechtliche und ethische Fragen zu Datenherkunft und Urheberrecht auf.
Nachfolgende Versionen
Nach der Erstveröffentlichung brachte Stability AI verbesserte Versionen heraus, darunter SD 2.0, SD XL und SD 3.0. SD XL führte architektonische Verbesserungen ein, während SD 3.0 ein transformerbasiertes Backbone übernahm. Diese Versionen setzten das Muster öffentlicher Veröffentlichungen fort, obwohl Änderungen bei Lizenzierung und Fokus auf kommerzielle Nutzung festgestellt wurden.
Rezeption und Kontroversen
Stable Diffusion erhielt Lob für technische Errungenschaften und Zugänglichkeit, sah sich aber auch Kritik wegen Trainingsdaten-Problemen, Verzerrung und potenziellem Missbrauch ausgesetzt. Rechtliche Herausforderungen von Künstlern und Stock-Foto-Agenturen entstanden, die die Rechtmäßigkeit des Trainings auf gescrapten Bildern in Frage stellten. Diese Kontroversen prägten laufende Debatten in der Politik zu generativer KI.