Stable Diffusion XL (SDXL) ist ein Deep-Learning-Modell zur Text-zu-Bild-Generierung, das von Stability AI im Juli 2023 veröffentlicht wurde. Es ist eine verbesserte Version des ursprünglichen Stable-Diffusion-Modells, die darauf ausgelegt ist, Bilder mit höherer Auflösung, größerem Detailreichtum und besserer kompositorischer Genauigkeit zu erzeugen. SDXL ist Teil des breiteren generativen KI-Booms und stellt einen bedeutenden Fortschritt bei Diffusionsmodellen dar, wodurch hochwertige Bildsynthese einem breiteren Publikum zugänglich gemacht wird.
Das Modell wird hauptsächlich zur Erzeugung detaillierter Bilder verwendet, die durch Textbeschreibungen konditioniert werden, unterstützt aber auch Aufgaben wie Inpainting, Outpainting und Bild-zu-Bild-Übersetzung, die durch einen Text-Prompt gesteuert wird. Im Gegensatz zu früheren proprietären Systemen wie DALL-E und Midjourney, die nur über Cloud-Dienste zugänglich waren, wurden SDXL-Code und -Gewichte öffentlich veröffentlicht, sodass es auf Consumer-Hardware mit moderaten GPUs ausgeführt werden kann. Diese Offenheit markierte eine Abkehr von früheren Text-zu-Bild-Modellen und trug zur schnellen Verbreitung von Stable-Diffusion-Technologien bei.
Entwicklung
SDXL wurde von Stability AI in Zusammenarbeit mit Forschern der CompVis-Gruppe an der LMU München und Runway entwickelt, mit Rechenunterstützung von Stability AI und Trainingsdaten von gemeinnützigen Organisationen. Das Projekt basierte auf der Architektur des latenten Diffusionsmodells (LDM), die 2021 von Forschern der LMU München und der Universität Heidelberg erfunden wurde, darunter Robin Rombach, Andreas Blattmann, Patrick Esser und Dominik Lorenz. Diese Forscher schlossen sich später Stability AI an, um nachfolgende Versionen von Stable Diffusion zu entwickeln.
Die technische Lizenz für das Modell wurde von der CompVis-Gruppe veröffentlicht, und die Entwicklung wurde von Patrick Esser von Runway und Robin Rombach von CompVis geleitet. Stability AI nannte auch EleutherAI und LAION, eine deutsche gemeinnützige Organisation, die den Trainingsdatensatz zusammenstellte, als Unterstützer. Die Veröffentlichung von SDXL folgte auf den Erfolg des ursprünglichen Stable Diffusion im Jahr 2022 und zielte darauf ab, Einschränkungen bei Auflösung und Detailgenauigkeit zu beheben.
Technologie
Architektur
SDXL verwendet eine Variante von Diffusionsmodellen, die als latente Diffusionsmodelle (LDM) bezeichnet werden und 2021 entwickelt wurden. Diffusionsmodelle, die 2015 eingeführt wurden, werden darauf trainiert, aufeinanderfolgende Anwendungen von Gaußschem Rauschen aus Trainingsbildern zu entfernen, und fungieren als eine Sequenz von Denoising-Autoencodern. Der Name „Diffusion“ stammt von der thermodynamischen Diffusion, da die Modelle von der Thermodynamik inspiriert wurden.
SDXL besteht aus drei Hauptteilen: einem variationalen Autoencoder (VAE), einem U-Net und einem optionalen Text-Encoder. Der VAE-Encoder komprimiert ein Bild vom Pixelraum in einen kleineren dimensionalen latenten Raum und erfasst die semantische Bedeutung des Bildes. Während der Vorwärtsdiffusion wird Gaußsches Rauschen iterativ auf die komprimierte latente Repräsentation angewendet. Der U-Net-Block, der aus einem ResNet-Backbone besteht, entfernt das Rauschen aus der Ausgabe, um eine latente Repräsentation zu erhalten. Schließlich erzeugt der VAE-Decoder das endgültige Bild, indem er die Repräsentation zurück in den Pixelraum konvertiert.
Der Denoising-Schritt kann durch Text, ein Bild oder eine andere Modalität konditioniert werden. Die kodierten Konditionierungsdaten werden über einen Cross-Attention-Mechanismus an das Denoising-U-Net weitergegeben. Für die Textkonditionierung verwendet SDXL zwei Text-Encoder anstelle von einem, was die Fähigkeit des Modells verbessert, komplexe Prompts zu verstehen. Der größere Cross-Attention-Kontext und das Training mit mehreren Seitenverhältnissen ermöglichen es SDXL, Bilder in verschiedenen Auflösungen zu erzeugen, nicht nur im quadratischen Format früherer Versionen.
Mit 860 Millionen Parametern im U-Net und 123 Millionen im Text-Encoder ist SDXL im Vergleich zu anderen Modellen seiner Zeit relativ leichtgewichtig, sodass es auf Consumer-GPUs mit nur 2,4 GB VRAM ausgeführt werden kann. Eine optimierte Version kann sogar nur mit CPU unter Verwendung von OpenVINO ausgeführt werden.
SD XL Refiner
Zusammen mit SDXL veröffentlichte Stability AI den SD XL Refiner, der dieselbe Architektur hat, aber speziell dafür trainiert wurde, feine Details zu bereits vorhandenen Bildern hinzuzufügen, und zwar durch textbedingte Bild-zu-Bild-Übersetzung. Dieses Refiner-Modell ermöglicht es Benutzern, generierte Bilder iterativ zu verbessern.
Trainingsdaten
SDXL wurde mit Paaren von Bildern und Bildunterschriften aus LAION-5B trainiert, einem öffentlich verfügbaren Datensatz, der aus Common-Crawl-Daten stammt, die aus dem Web gesammelt wurden. Der Datensatz enthält 5 Milliarden Bild-Text-Paare, die nach Sprache, Auflösung, Wasserzeichenwahrscheinlichkeit und ästhetischem Score gefiltert wurden. Für das Training wurden drei Teilmengen verwendet: laion2B-en, laion-high-resolution und laion-aesthetics v2 5+. Die letzte Teilmenge umfasst 600 Millionen Bilder mit einem vorhergesagten ästhetischen Score von mindestens 5 von 10, wobei Bilder mit niedriger Auflösung und solche mit Wasserzeichen ausgeschlossen wurden.
Eine Drittanbieter-Analyse der Trainingsdaten ergab, dass etwa 47 % einer kleineren Teilmenge von 12 Millionen Bildern aus 100 verschiedenen Domains stammten, wobei Pinterest mit 8,5 % den größten Anteil hatte, gefolgt von WordPress, Blogspot, Flickr, DeviantArt und Wikimedia Commons. Eine Untersuchung des Bayerischen Rundfunks fand heraus, dass die Datensätze von LAION große Mengen privater und sensibler Daten enthielten, was Datenschutzbedenken aufwarf.
Trainingsverfahren
Das Modell wurde zunächst auf laion2B-en und laion-high-resolution trainiert, mit abschließenden Runden auf LAION-Aesthetics v2 5+. Beim Training wurden 10 % der Textkonditionierung weggelassen, um die klassifikatorfreie Diffusionsführung zu verbessern. SDXL wurde mit 256 Nvidia-A100-GPUs auf Amazon Web Services für insgesamt 150.000 GPU-Stunden trainiert, was Kosten von 600.000 US-Dollar verursachte.
Einschränkungen
Wie andere Diffusionsmodelle hat auch SDXL Einschränkungen, darunter Probleme mit der Verschlechterung in bestimmten Szenarien. Es kann Schwierigkeiten mit feinen Details wie Händen oder Text haben und Artefakte erzeugen. Die Trainingsdaten des Modells führen auch zu Verzerrungen und potenziellen Datenschutzproblemen, wie Untersuchungen zeigten. Zum Zeitpunkt seiner Veröffentlichung galt SDXL als eine deutliche Verbesserung gegenüber früheren Versionen, erforderte jedoch immer noch sorgfältiges Prompt-Engineering für optimale Ergebnisse.
Auswirkungen
Die Veröffentlichung von SDXL trug zum KI-Boom bei, indem sie qualitativ hochwertige Text-zu-Bild-Generierung demokratisierte. Seine offene Verfügbarkeit ermöglichte es Entwicklern und Künstlern, es in verschiedene Anwendungen zu integrieren, von der Kunsterstellung bis zum Design. Die Architektur des Modells beeinflusste nachfolgende Entwicklungen bei latenter Diffusion und Transformer-basierten Modellen, einschließlich des späteren SD 3.0, das das U-Net durch einen rektifizierten Flow-Transformer ersetzte.
SDXL löste auch Diskussionen über Urheberrecht, Ethik und die gesellschaftlichen Auswirkungen generativer KI aus, da es die weit verbreitete Erstellung realistischer Bilder ermöglichte. Seine Trainingsdaten, die aus dem Web stammen, warfen Fragen zu Einwilligung und Datennutzung auf, was zu laufenden Debatten in der KI-Gemeinschaft führte.
Siehe auch
- Stable Diffusion Public Release
- Diffusion Models Paper
- CLIP
- Variational Autoencoder
- U-Net
- ResNet
- Attention Mechanism
- LAION
- EleutherAI
- Runway
- Robin Rombach
- Stability AI