Das latente Diffusionsmodell (LDM) ist eine Diffusionsmodell-Architektur, die von der Gruppe Computer Vision & Learning (CompVis) an der LMU München entwickelt wurde. Es verbessert Standard-Diffusionsmodelle, indem es den Diffusionsprozess in einem niedrigerdimensionalen latenten Raum statt direkt im Pixelraum durchführt, was die Rechenkosten reduziert und eine effizientere Erzeugung hochauflösender Bilder ermöglicht. LDMs integrieren auch Self-Attention- und Cross-Attention-Conditioning, was eine flexible Steuerung der erzeugten Ausgabe basierend auf Text, Bildern oder anderen Modalitäten ermöglicht.
Diffusionsmodelle wurden 2015 als eine Klasse generativer Modelle eingeführt, die lernen, einen schrittweisen Rauschprozess umzukehren. Die LDM-Architektur wurde am 20. Dezember 2021 auf arXiv veröffentlicht, und sowohl die Stable-Diffusion- als auch die LDM-Repositorien wurden auf GitHub freigegeben. LDMs werden in praktischen Diffusionsmodellen weit verbreitet eingesetzt; beispielsweise basierten die Stable-Diffusion-Versionen 1.1 bis 2.1 auf der LDM-Architektur.
Architektur
Das LDM besteht aus drei Hauptkomponenten: einem variationalen Autoencoder (VAE), einem modifizierten U-Net und einem Text-Encoder. Der VAE-Encoder komprimiert ein Eingabebild vom Pixelraum in einen kleineren latenten Raum, wobei er semantische Bedeutung erfasst und die Dimensionalität reduziert. Gaußsches Rauschen wird während der Vorwärtsdiffusion iterativ auf diese komprimierte latente Darstellung angewendet. Das U-Net, das auf einem ResNet-Backbone aufbaut, entrauscht die latente Darstellung durch einen Rückwärtsprozess. Schließlich konvertiert der VAE-Decoder das entrauschte Latent zurück in den Pixelraum, um das endgültige Bild zu erzeugen.
Der Entrauschungsschritt kann auf Text, Bilder oder andere Modalitäten konditioniert werden. Für die Textkonditionierung transformiert ein vortrainierter CLIP-ViT-L/14-Text-Encoder Textaufforderungen in einen Einbettungsraum, der dann über einen Cross-Attention-Mechanismus dem U-Net ausgesetzt wird. Dies ermöglicht dem Modell, Bilder zu erzeugen, die mit der bereitgestellten textuellen Beschreibung übereinstimmen.
Variationaler Autoencoder
Der VAE wird zunächst auf einem Datensatz von Bildern trainiert. Sein Encoder nimmt ein Bild als Eingabe und gibt eine niedrigerdimensionale latente Darstellung aus, die als Eingabe für das U-Net dient. Nach dem Training wird der Encoder verwendet, um Bilder zu komprimieren, und der Decoder rekonstruiert Bilder aus latenten Darstellungen.
In der implementierten Version ist der Encoder ein convolutional neural network (CNN) mit einem einzelnen Self-Attention-Mechanismus nahe dem Ende. Er nimmt einen Tensor der Form (3, H, W) und gibt einen Tensor der Form (8, H/8, W/8) aus, der den vorhergesagten Mittelwert und die Varianz des latenten Vektors verkettet, jeweils mit der Form (4, H/8, W/8). Während des Trainings wird die Varianz verwendet, aber bei der Inferenz wird typischerweise nur der Mittelwert beibehalten. Der Decoder ist ebenfalls ein CNN mit einem einzelnen Self-Attention-Mechanismus, der einen (4, H/8, W/8)-Tensor zurück auf (3, H, W) abbildet.
U-Net
Das U-Net-Backbone verarbeitet mehrere Eingaben: ein latentes Bildarray vom VAE-Encoder, eine Zeitschritt-Einbettung, die den aktuellen Rauschpegel angibt, und Konditionierungs-Einbettungen vom Text-Encoder. Das U-Net wird trainiert, das Rauschen vorherzusagen, das zur latenten Darstellung hinzugefügt wurde, wodurch es iterativ entrauschen kann. Die Architektur integriert Residualblöcke und Aufmerksamkeitsschichten, wodurch sie sowohl lokalen als auch globalen Kontext verarbeiten kann.
Training und Konditionierung
LDMs werden mit einem Entrauschungsziel trainiert: Bei einem verrauschten Latent lernt das Modell, das ursprüngliche Rauschen vorherzusagen. Der Trainingsprozess verwendet eine Verlustfunktion, die die Differenz zwischen vorhergesagtem und tatsächlichem Rauschen misst. Die Konditionierung wird durch Cross-Attention-Schichten integriert, wobei die Texteinbettung verwendet wird, um den Entrauschungsprozess zu modulieren. Dieser Ansatz unterstützt classifier-free guidance, bei dem das Modell sowohl mit als auch ohne Konditionierung trainiert wird, und bei der Inferenz wird die Konditionierung verstärkt, um die Übereinstimmung mit der Aufforderung zu verbessern.
Anwendungen und Auswirkungen
LDMs sind zu einer grundlegenden Architektur für die Text-zu-Bild-Generierung geworden. Stable Diffusion, ein prominentes Open-Source-Modell, verwendet die LDM-Architektur. Die Versionen 1.1 bis 1.4 wurden von CompVis im August 2022 veröffentlicht, wobei jede Version auf zunehmend ästhetischeren Bildern feinabgestimmt wurde. Stable Diffusion 1.5, veröffentlicht von RunwayML im Oktober 2022, integrierte einen 10%igen Dropout der Textkonditionierung, um classifier-free guidance zu verbessern. Die Effizienz der latenten Raumdiffusion hat es ermöglicht, diese Modelle auf Verbraucherhardware auszuführen, was den Zugang zu generativer KI demokratisiert.
Verwandte Entwicklungen
Diffusionsmodelle entwickelten sich aus früheren Arbeiten zur Nichtgleichgewichtsthermodynamik. Ein Papier von 2019 führte das Noise Conditional Score Network (NCSN) ein, auch bekannt als Score Matching mit Langevin-Dynamik (SMLD), mit einer PyTorch-Implementierung. Ein Papier von 2020 schlug das Denoising Diffusion Probabilistic Model (DDPM) vor, das das Training durch variationale Inferenz verbesserte und in TensorFlow veröffentlicht wurde. Das LDM baut auf diesen Grundlagen auf, indem es den Diffusionsprozess in einen latenten Raum verlagert, eine Schlüsselinnovation, die Speicher- und Rechenanforderungen reduziert, während eine hohe Ausgabequalität beibehalten wird.
LDMs sind Teil des breiteren Feldes der generativen KI, das auch große Sprachmodelle und andere Deep-Learning-Architekturen umfasst. Die Verwendung von Cross-Attention und U-Net-Backbones verbindet LDMs mit Fortschritten im neuronale-Netzwerk-Design. Ab 2025 bleibt die latente Diffusion ein Standardansatz in kommerziellen und Open-Source-Bildgenerierungssystemen, wobei laufende Forschung sich auf die Verbesserung von Effizienz, Steuerbarkeit und Wiedergabetreue konzentriert.