Stable Diffusion 2.0 ist ein Deep-Learning-Modell zur Text-zu-Bild-Generierung, das 2022 von Stability AI veröffentlicht wurde und auf Diffusionstechniken basiert. Es ist Teil des anhaltenden KI-Booms in der generativen KI und wird hauptsächlich verwendet, um detaillierte Bilder zu erzeugen, die durch Textbeschreibungen konditioniert werden, obwohl es auch Aufgaben wie Inpainting, Outpainting und Bild-zu-Bild-Übersetzungen bewältigen kann, die durch einen Textprompt gesteuert werden. Das Modell ist ein latentes Diffusionsmodell, eine Art tiefes generatives künstliches neuronales Netz, und sein Code sowie seine Modellgewichte wurden öffentlich freigegeben, sodass es auf den meisten Consumer-Hardware mit einer bescheidenen GPU von nur 2,4 GB VRAM ausgeführt werden kann. Dies markierte eine Abkehr von früheren proprietären Text-zu-Bild-Modellen wie DALL-E und Midjourney, die nur über Cloud-Dienste zugänglich waren.
Die Entwicklung von Stable Diffusion umfasste Forscher der CompVis-Gruppe an der LMU München und Runway, mit einer Rechenspende von Stability AI und Trainingsdaten von gemeinnützigen Organisationen. Das Modell stellt einen bedeutenden Schritt dar, um fortschrittliche generative KI einem breiteren Publikum zugänglich zu machen, da es lokal ausgeführt werden kann, anstatt auf Cloud-Zugriff angewiesen zu sein.
Entwicklungsgeschichte
Stable Diffusion entstand aus einem Projekt namens latente Diffusion, das in Deutschland von Forschern der LMU München und der Universität Heidelberg entwickelt wurde. Vier der ursprünglichen fünf Autoren - Robin Rombach, Andreas Blattmann, Patrick Esser und Dominik Lorenz - traten später Stability AI bei und veröffentlichten nachfolgende Versionen des Modells. Die technische Lizenz für das Modell wurde von der CompVis-Gruppe an der LMU München freigegeben. Die Entwicklung wurde von Patrick Esser von Runway und Robin Rombach von CompVis geleitet, die zu den Forschern gehörten, die zuvor die latente Diffusionsmodell-Architektur erfunden hatten, die von Stable Diffusion verwendet wird. Stability AI nannte auch EleutherAI und LAION, eine deutsche gemeinnützige Organisation, die den Datensatz zusammenstellte, auf dem das Modell trainiert wurde, als Unterstützer des Projekts.
Die Veröffentlichung von Stable Diffusion 2.0 folgte auf die anfängliche öffentliche Veröffentlichung von Stable Diffusion im August 2022, die bereits erhebliche Aufmerksamkeit für ihre Fähigkeit erregt hatte, hochwertige Bilder aus Textprompts zu erzeugen. Die Version 2.0 führte mehrere Verbesserungen und Verfeinerungen an der Architektur und dem Trainingsprozess ein.
Technologie
Architektur
Diffusionsmodelle, die 2015 eingeführt wurden, werden mit dem Ziel trainiert, aufeinanderfolgende Anwendungen von Gaußschem Rauschen auf Trainingsbildern zu entfernen, was als eine Sequenz von Denoising-Autoencodern betrachtet werden kann. Der Name "Diffusion" stammt von der thermodynamischen Diffusion, da die Modelle ursprünglich mit Inspiration aus der Thermodynamik entwickelt wurden. Modelle der Stable-Diffusion-Serie vor SD 3 verwendeten alle eine Variante von Diffusionsmodellen, die als latente Diffusionsmodelle (LDM) bezeichnet werden und 2021 von der CompVis-Gruppe an der LMU München entwickelt wurden.
Stable Diffusion besteht aus drei Teilen: dem Variational Autoencoder (VAE), einem U-Net und einem optionalen Textencoder. Der VAE-Encoder komprimiert das Bild vom Pixelraum in einen kleineren latenten Raum, der eine grundlegendere semantische Bedeutung des Bildes erfasst. Während der Vorwärtsdiffusion wird Gaußsches Rauschen iterativ auf die komprimierte latente Darstellung angewendet. Der U-Net-Block, der aus einem ResNet-Backbone besteht, entfernt das Rauschen aus der Ausgabe der Vorwärtsdiffusion rückwärts, um eine latente Darstellung zu erhalten. Schließlich erzeugt der VAE-Decoder das endgültige Bild, indem er die Darstellung zurück in den Pixelraum umwandelt.
Der Denoising-Schritt kann flexibel mit einer Textzeichenfolge, einem Bild oder einer anderen Modalität konditioniert werden. Die kodierten Konditionierungsdaten werden über einen Cross-Attention-Mechanismus an die Denoising-U-Nets weitergegeben. Für die Textkonditionierung wird der feste, vortrainierte CLIP ViT-L/14-Textencoder verwendet, um Textprompts in einen Einbettungsraum zu transformieren. Forscher weisen auf eine erhöhte Recheneffizienz für Training und Generierung als Vorteil von LDMs hin.
Mit 860 Millionen Parametern im U-Net und 123 Millionen im Textencoder gilt Stable Diffusion nach den Standards von 2022 als relativ leichtgewichtig. Im Gegensatz zu anderen Diffusionsmodellen kann es auf Consumer-GPUs und sogar nur mit CPU ausgeführt werden, wenn die OpenVINO-Version von Stable Diffusion verwendet wird.
Trainingsdaten
Stable Diffusion wurde auf Paaren von Bildern und Bildunterschriften aus LAION-5B trainiert, einem öffentlich verfügbaren Datensatz, der aus Common-Crawl-Daten abgeleitet wurde, die aus dem Web gescrapt wurden. Der Datensatz enthält 5 Milliarden Bild-Text-Paare, die nach Sprache klassifiziert und in separate Datensätze nach Auflösung, einer vorhergesagten Wahrscheinlichkeit, ein Wasserzeichen zu enthalten, und einem vorhergesagten "ästhetischen" Wert (z. B. subjektive visuelle Qualität) gefiltert wurden. Der Datensatz wurde von LAION erstellt, einer deutschen gemeinnützigen Organisation, die von Stability AI finanziert wird.
Das Stable-Diffusion-Modell wurde auf drei Teilmengen von LAION-5B trainiert: laion2B-en, laion-high-resolution und laion-aesthetics v2 5+. Eine Drittanbieter-Analyse der Trainingsdaten des Modells ergab, dass aus einer kleineren Teilmenge von 12 Millionen Bildern, die aus dem ursprünglichen breiteren Datensatz entnommen wurden, etwa 47% der Stichprobe aus 100 verschiedenen Domänen stammten, wobei Pinterest 8,5% der Teilmenge ausmachte, gefolgt von Websites wie WordPress, Blogspot, Flickr, DeviantArt und Wikimedia Commons. Eine Untersuchung des Bayerischen Rundfunks zeigte, dass die Datensätze von LAION, die auf Hugging Face gehostet werden, große Mengen privater und sensibler Daten enthalten.
Trainingsverfahren
Das Modell wurde zunächst auf den Teilmengen laion2B-en und laion-high-resolution trainiert, wobei die letzten Trainingsrunden auf LAION-Aesthetics v2 5+ durchgeführt wurden, einer Teilmenge von 600 Millionen beschrifteten Bildern, bei denen der LAION-Aesthetics-Predictor V2 vorhersagte, dass Menschen ihnen im Durchschnitt eine Punktzahl von mindestens 5 von 10 geben würden, wenn sie gebeten würden, zu bewerten, wie sehr sie ihnen gefallen. Die Teilmenge LAION-Aesthetics v2 5+ schloss auch Bilder mit niedriger Auflösung und Bilder aus, die von LAION-5B-WatermarkDetection mit einer Wahrscheinlichkeit von mehr als 80% als mit einem Wasserzeichen versehen identifiziert wurden. In den letzten Trainingsrunden wurden zusätzlich 10% der Textkonditionierung entfernt, um die Classifier-Free Diffusion Guidance zu verbessern.
Das Modell wurde mit 256 Nvidia-A100-GPUs auf Amazon Web Services für insgesamt 150.000 GPU-Stunden trainiert, was Kosten von 600.000 US-Dollar verursachte.
Verbesserungen in Version 2.0
Stable Diffusion 2.0 führte mehrere wichtige Verbesserungen gegenüber der ursprünglichen Veröffentlichung ein. Das Modell integrierte einen neuen Textencoder, der ein größeres CLIP-Modell verwendete, das die Ausrichtung zwischen Textprompts und generierten Bildern verbesserte. Die Trainingsdaten wurden ebenfalls verfeinert, mit einem größeren Schwerpunkt auf hochauflösenden und ästhetisch ansprechenden Bildern, was dazu beitrug, das Auftreten von Artefakten zu reduzieren und die Gesamtbildqualität zu verbessern.
Darüber hinaus bot die Version 2.0 eine bessere Unterstützung für nicht-quadratische Seitenverhältnisse, sodass Benutzer Bilder in einer größeren Vielfalt von Formaten generieren konnten. Das Modell zeigte auch verbesserte Leistung bei Aufgaben wie Inpainting und Outpainting, bei denen Teile eines Bildes basierend auf dem umgebenden Kontext ausgefüllt oder erweitert werden.
Einschränkungen
Stable Diffusion hat Probleme mit Verschlechterung und Artefakten in bestimmten Szenarien. Das Modell kann Schwierigkeiten haben, genaue Darstellungen komplexer Szenen zu erzeugen, insbesondere solcher, die mehrere Objekte oder komplizierte Details umfassen. Es kann auch verzerrte oder unangemessene Inhalte produzieren, die Verzerrungen in den Trainingsdaten widerspiegeln. Die Abhängigkeit des Modells vom CLIP-Textencoder bedeutet, dass sein Sprachverständnis auf das beschränkt ist, was CLIP gelernt hat, was zu Fehlinterpretationen bestimmter Prompts führen kann.
Darüber hinaus enthält die Trainingsdaten, die aus dem Web stammen, eine breite Palette von Inhalten, von denen einige privat oder sensibel sein können. Dies hat Bedenken hinsichtlich der Privatsphäre und der ethischen Implikationen der Verwendung solcher Daten für das Training generativer Modelle aufgeworfen. Die Rechenkosten des Trainings sind zwar niedriger als bei einigen Alternativen, erfordern jedoch weiterhin erhebliche Ressourcen, und die Leistung des Modells kann je nach verwendeter Hardware für die Inferenz variieren.
Auswirkungen und Rezeption
Die Veröffentlichung von Stable Diffusion 2.0 war Teil der breiteren öffentlichen Veröffentlichung von Stable Diffusion, die zum generativen KI-Boom beitrug. Die Open-Source-Natur des Modells und seine Fähigkeit, auf Consumer-Hardware zu laufen, machten es weit verbreitet zugänglich und lösten eine Welle kreativer und kommerzieller Anwendungen aus. Es beeinflusste auch nachfolgende Entwicklungen in diesem Bereich, einschließlich der Veröffentlichung anderer Open-Source-Modelle und der Integration diffusionsbasierter Techniken in verschiedene Produkte.
Die Zugänglichkeit des Modells warf auch Diskussionen über Urheberrecht, künstlerisches Eigentum und das Potenzial für Missbrauch auf, was zu anhaltenden Debatten über die Regulierung generativer KI-Technologien führte. Trotz dieser Herausforderungen bleibt Stable Diffusion 2.0 ein bedeutender Meilenstein in der Entwicklung der Text-zu-Bild-Generierung und demonstriert die Machbarkeit hochwertiger generativer Modelle, die nicht auf Cloud-Dienste beschränkt sind.