Stable Diffusion ist ein Text-zu-Bild-Generierungsmodell, das am 22. August 2022 öffentlich veröffentlicht wurde und von Forschern der CompVis-Gruppe an der Ludwig-Maximilians-Universität München in Zusammenarbeit mit Stability AI und Runway entwickelt wurde, basierend auf früheren akademischen Arbeiten zu latenten Diffusionsmodellen. Seine Veröffentlichung als Modell mit offenen Gewichten, im Gegensatz zu geschlossenen Konkurrenten, machte es zu einer der folgenreichsten Veröffentlichungen in der frühen Geschichte der Mainstream-generativen Bild-KI.
Technischer Ansatz
Stable Diffusion basiert auf der Diffusionsmodell-Technik, die das Erlernen der Umkehrung eines schrittweisen Rauschprozesses beinhaltet, führt diesen Prozess jedoch charakteristischerweise in einem komprimierten latenten Raum durch, anstatt direkt auf Pixeln, ein Ansatz, der in dem Papier „High-Resolution Image Synthesis with Latent Diffusion Models“ beschrieben wird, das von Robin Rombach mitverfasst wurde. Die Arbeit im latenten Raum reduzierte die Rechenkosten für Training und Ausführung des Modells im Vergleich zur Diffusion im Pixelraum erheblich, was es praktikabel machte, es auf einer einzelnen Consumer-GPU auszuführen, ein Schlüsselfaktor für seine schnelle Verbreitung. Die Textbedingung wurde mithilfe eines aus CLIP abgeleiteten Text-Encoders bereitgestellt, der es dem Modell ermöglichte, Bilder zu generieren, die einer natürlichen Sprachaufforderung entsprechen.
Veröffentlichung und Offenheit
Stability AI, damals unter der Leitung von Emad Mostaque, finanzierte die Rechenleistung für das Training und veröffentlichte die Gewichte des Modells öffentlich unter einer permissiven Lizenz (CreativeML Open RAIL-M), zusammen mit Code, den jeder lokal ausführen konnte. Dies war ein bewusster Gegensatz zum geschlossenen API-Ansatz von OpenAIs DALL-E und später Midjourney. Die Trainingsdaten stammten weitgehend aus dem LAION-5B-Datensatz, der von der gemeinnützigen Organisation LAION zusammengestellt wurde, einer großen Sammlung von Bild-Text-Paaren, die aus dem Web gescrapt wurden, was später zu einer Kontroverse über urheberrechtlich geschützte und, in einer kleinen Teilmenge, illegale Inhalte führte, die LAION zu identifizieren und zu entfernen versuchte.
Ökosystem
Die offene Veröffentlichung von Stable Diffusion löste ein ungewöhnlich großes und schnelllebiges Community-Ökosystem aus. Innerhalb von Monaten entwickelten Entwickler benutzerdefinierte Benutzeroberflächen, Erweiterungen und Trainingspipelines, und die offene Lizenz ermöglichte eine Welle von community-trainierten Checkpoints und stil-spezifischen Feintunings, die auf Plattformen wie Hugging Face und Civitai verteilt wurden. Techniken wie LoRA-Adapter und ControlNet, die eine präzise Bedingung auf Posen, Kanten und Tiefenkarten ermöglichten, wurden von der Community entwickelt und schnell in Mainstream-Workflows integriert, wodurch die praktischen Fähigkeiten des Modells weit über seine ursprüngliche Veröffentlichung hinaus erweitert wurden. Aufeinanderfolgende offizielle Versionen (SD 2.0, SDXL, SD3) verbesserten die Bildqualität und die Aufforderungstreue, obwohl einige Updates, insbesondere die restriktivere Filterung der Trainingsdaten in SD 2.0, auf Community-Widerstand stießen, da sie bestimmte Fähigkeiten beeinträchtigten.
Rezeption und Auswirkungen
Stable Diffusion wird weithin zugeschrieben, den Zugang zu hochwertiger Bildgenerierung zu demokratisieren und die öffentliche Debatte über KI und Urheberrecht zu beschleunigen, da seine Fähigkeit, lokal ausgeführt zu werden, es weitaus schwerer machte, zu überwachen als API-gesteuerte Konkurrenten. Es verstärkte auch die Prüfung der Einwilligung bei Trainingsdaten und trug zu Klagen von Künstlern und Stockfoto-Unternehmen, einschließlich Getty Images, bei. Die eigenen kommerziellen Aussichten von Stability AI erwiesen sich als turbulent, wobei Mostaque 2024 unter Finanzierungsdruck als CEO zurücktrat, selbst als das zugrunde liegende Modell und seine offenen Derivate weiterhin weit verbreitet waren und im Vergleich zu späteren offenen Neueinsteigern wie FLUX einflussreich blieben.