Ein latentes Diffusionsmodell (LDM) ist eine Art generatives Modell, das das Framework von Diffusionsmodellen erweitert, indem es in einem niedrigdimensionalen latenten Raum anstatt direkt im Pixelraum arbeitet. Entwickelt von der Gruppe Computer Vision & Learning (CompVis) an der LMU München, wurde das LDM in einem am 20. Dezember 2021 auf arXiv veröffentlichten Paper vorgestellt. Es verbessert Standard-Diffusionsmodelle, indem es die Rechenkosten reduziert und gleichzeitig eine hochwertige Bildsynthese beibehält. Zudem unterstützt es die Konditionierung über Self-Attention- und Cross-Attention-Mechanismen. LDMs werden häufig in praktischen Diffusionsmodellen eingesetzt; so basierten beispielsweise die Stable-Diffusion-Versionen 1.1 bis 2.1 auf der LDM-Architektur.
Die LDM-Architektur besteht aus drei Hauptkomponenten: einem variationalen Autoencoder (VAE), einem modifizierten U-Net und einem Text-Encoder. Das VAE komprimiert Bilder in einen latenten Raum, das U-Net führt die Entrauschung in diesem latenten Raum durch, und der Text-Encoder liefert die Konditionierungsinformationen. Dieses Design ermöglicht es dem Modell, Bilder aus Text-Prompts effizient zu generieren, und macht es zu einem Eckpfeiler der modernen KI-Bildgenerierung.
Hintergrund und Entwicklung
Diffusionsmodelle wurden erstmals 2015 als eine Methode eingeführt, um das Sampling aus komplexen Wahrscheinlichkeitsverteilungen zu lernen, wobei Prinzipien der Nichtgleichgewichts-Thermodynamik verwendet wurden. Ein Paper aus dem Jahr 2019 schlug das Noise Conditional Score Network (NCSN) vor, auch bekannt als Score-Matching mit Langevin-Dynamik (SMLD), das in PyTorch implementiert wurde. Im Jahr 2020 verbesserte das Denoising Diffusion Probabilistic Model (DDPM) diese Methoden mithilfe von variationaler Inferenz, mit einer Referenzimplementierung in TensorFlow.
Das LDM-Paper wurde am 20. Dezember 2021 auf arXiv veröffentlicht, und sowohl die Stable-Diffusion- als auch die LDM-Repositorien wurden auf GitHub freigegeben. Die Architektur erlangte Bekanntheit, als Stable-Diffusion-Versionen 1.1 bis 2.1 sie übernahmen. Stable Diffusion 1.1 wurde auf dem LAION-2B-en-Datensatz trainiert, und nachfolgende Versionen wurden für verbesserte Ästhetik und classifier-free guidance feinabgestimmt. Stable Diffusion 1.5 wurde von RunwayML im Oktober 2022 veröffentlicht.
Architekturübersicht
Das LDM arbeitet in einem komprimierten latenten Raum, was die Dimensionalität der Daten reduziert und Training sowie Inferenz beschleunigt. Der Prozess beginnt mit einem VAE-Encoder, der ein Eingabebild aus dem Pixelraum in eine latente Darstellung komprimiert. Während der Vorwärtsdiffusion wird dann iterativ Gaußsches Rauschen auf diese latente Darstellung angewendet. Ein U-Net, bestehend aus einem ResNet-Backbone, entrauscht die latente Darstellung in umgekehrter Richtung, und schließlich wandelt ein VAE-Decoder die entrauschte latente Darstellung zurück in den Pixelraum um.
Der Entrauschungsschritt kann mit verschiedenen Modalitäten konditioniert werden, wie Text, Bildern oder anderen Daten. Für die Textkonditionierung transformiert ein vortrainierter CLIP-ViT-L/14-Text-Encoder Text-Prompts in einen Einbettungsraum, der dem U-Net über einen Cross-Attention-Mechanismus zugänglich gemacht wird. Dies ermöglicht es dem Modell, Bilder zu generieren, die mit der bereitgestellten Textbeschreibung übereinstimmen.
Variationaler Autoencoder
Das VAE wird auf einem Datensatz von Bildern trainiert, um eine komprimierte latente Darstellung zu lernen. Der Encoder nimmt ein RGB-Bild der Form (3, 512, 512) auf und gibt einen latenten Tensor der Form (4, 64, 64) aus, nachdem ein Skalierungsfaktor von 0,18215 angewendet wurde, um den latenten Vektor annähernd zu weißen. Der Decoder kehrt diesen Prozess um, indem er einen latenten Tensor aufnimmt und ein Bild erzeugt, mit einem Skalierungsfaktor von 0,18125 und einem Clipping auf den Bereich [0, 1].
Der Encoder ist ein convolutional neural network (CNN) mit einem einzigen Self-Attention-Mechanismus nahe dem Ende. Er gibt eine Verkettung des vorhergesagten Mittelwerts und der Varianz für den latenten Vektor aus, jeweils mit der Form (4, H/8, W/8). Während des Trainings wird die Varianz verwendet, aber bei der Inferenz wird typischerweise nur der Mittelwert beibehalten. Der Decoder ist ebenfalls ein CNN mit einer ähnlichen Self-Attention-Struktur, das latente Tensoren zurück in Bilder umwandelt.
U-Net
Das U-Net-Backbone ist die zentrale Entrauschungskomponente. Es nimmt als Eingabe ein latentes Bildarray, das vom VAE-Encoder erzeugt wurde, sowie Konditionierungsinformationen wie Text-Einbettungen auf. Das U-Net ist darauf ausgelegt, das Rauschen vorherzusagen, das während der Vorwärtsdiffusion hinzugefügt wurde, wodurch das Modell iterativ Rauschen entfernen und die ursprüngliche latente Darstellung wiederherstellen kann. Die Architektur umfasst Residualverbindungen und Aufmerksamkeitsmechanismen, die es ihr ermöglichen, komplexe Abhängigkeiten in den Daten zu verarbeiten.
Anwendungen und Auswirkungen
Latente Diffusionsmodelle sind zur Grundlage vieler Text-zu-Bild-Systeme geworden, insbesondere von Stable Diffusion. Die durch die Arbeit im latenten Raum erzielte Effizienz ermöglicht es diesen Modellen, auf Consumer-Hardware zu laufen, was den Zugang zur KI-Bildgenerierung demokratisiert. Die Architektur wurde auch für andere Aufgaben adaptiert, wie Inpainting, Super-Resolution und Videogenerierung, was ihre Vielseitigkeit demonstriert.
Einschränkungen und zukünftige Richtungen
Trotz ihres Erfolgs stehen LDMs vor Herausforderungen wie dem Rechenaufwand für das Training, potenziellen Verzerrungen in generierten Inhalten und der Notwendigkeit einer sorgfältigen Abstimmung der Konditionierungsmechanismen. Die Forschung verbessert die Architektur weiterhin, einschließlich effizienterer Aufmerksamkeitsmechanismen und besserer latenter Raumdarstellungen. Stand der frühen 2020er Jahre bleiben LDMs ein zentrales Forschungsgebiet im maschinellen Lernen und Computer Vision, mit laufenden Beiträgen aus akademischen und industriellen Labors.