DDIM

Denoising Diffusion Implicit Models (DDIM) sind eine Klasse generativer Modelle, die 2021 von Jiaming Song, Chenlin Meng und Stefano Ermon von der Stanford University eingeführt wurden. Sie erweitern das Framework der Diffusionsmodelle, indem sie den Sampling-Prozess als ein implizites probabilistisches Modell neu definieren, was eine schnellere Erzeugung hochwertiger Stichproben aus einem trainierten Diffusionsmodell ermöglicht, ohne dass ein zusätzliches Training oder eine Modifikation des zugrunde liegenden Netzwerks erforderlich ist. DDIMs adressieren eine zentrale Einschränkung standardmäßiger Diffusionsmodelle: den langsamen Sampling-Prozess, der typischerweise Tausende von iterativen Denoising-Schritten erfordert, um ein einzelnes Bild zu erzeugen. Durch die Formulierung des Rückwärtsprozesses als eine nicht-Markovsche Kette ermöglichen DDIMs, dass dasselbe trainierte Modell mit erheblich weniger Schritten Stichproben erzeugt, oft 10 bis 50 Mal weniger, während die Ausgabequalität wettbewerbsfähig bleibt.

Die Kerninnovation von DDIM liegt in einer Neuformulierung der Vorwärts- und Rückwärtsübergänge des Diffusionsprozesses. Standardmäßige Denoising-Diffusions-Probabilistische-Modelle (DDPMs) nehmen eine Markov-Kette an, bei der jeder Schritt nur vom vorherigen Zustand abhängt, was eine große Anzahl von Schritten erfordert, um eine saubere Stichprobe aus Gaußschem Rauschen zu rekonstruieren. DDIM beobachtet stattdessen, dass das Trainingsziel eines Diffusionsmodells mit einer breiteren Familie nicht-Markovscher Vorwärtsprozesse konsistent ist, die so gestaltet werden können, dass sie deterministische oder semideterministische Rückwärtsprozesse ermöglichen. Durch die Parametrisierung dieser Prozesse mit einer freien Variablen konstruiert DDIM eine Klasse generativer Modelle, die denselben Trainingsverlust, aber flexiblere Sampling-Trajektorien aufweist. Dies ermöglicht eine deterministische Abbildung von Rauschen auf Daten, was die Erzeugung von Stichproben auf einfache und reproduzierbare Weise erlaubt, eine Eigenschaft, die in den ursprünglichen stochastischen Formulierungen fehlt.

Der praktische Nutzen dieser nicht-Markovschen Perspektive ist die Fähigkeit, mit einem reduzierten Zeitschrittplan zu sampeln. Während ein DDPM typischerweise 1000 bis 2000 Denoising-Schritte verwendet, kann DDIM in vielen Fällen mit nur 20, 50 oder 100 Schritten gültige Bilder erzeugen. Die architektonischen Komponenten des Modells bleiben identisch zu denen im DDPM - ein neuronales Netzwerk, normalerweise ein U-Net mit Aufmerksamkeitsebenen, sagt die Rauschkomponente bei jedem Schritt voraus. Der Unterschied liegt im probabilistischen Prozess, der das Überspringen von Zwischenschritten im Denoiser-Zeitplan ermöglicht, ohne größere Rekonstruktionsfehler einzuführen. Infolgedessen bietet DDIM einen Kompromiss zwischen Sampling-Geschwindigkeit und Stichprobentreue; höhere Schrittanzahlen ergeben hohe Genauigkeit, während niedrigere Schritte etwas Qualität opfern, aber visuell kohärent bleiben. Diese Flexibilität ist für Aufgaben wie Inferenzzeit-Führung nutzbar, bei denen dasselbe Modell unter verschiedenen Zeitplänen diverse Stichproben erzeugen kann.

Über die Geschwindigkeit hinaus ermöglicht DDIM eine deterministische und invertierbare Abbildung zwischen dem latenten Rauschen und den erzeugten Daten. Diese Eigenschaft unterstützt die Interpolation im Rauschraum, bei der die lineare Interpolation zwischen zwei Stichproben im latenten Raum semantisch bedeutungsvolle Morphing im resultierenden Bildraum ergibt. Diese deterministische Natur erlaubt auch Sampling wie bei generativen, adversariell trainierten Modellen, für Aufgaben wie Bildbearbeitung, Inpainting oder Rekonstruktion aus teilweisen Beobachtungen, ohne die damit verbundene Instabilität des Trainings von GANs. Die implizite Modellperspektive ordnet DDIM auch in die breitere Familie impliziter probabilistischer Modelle ein, die Verteilungen über eine einfache deterministische Erzeugungsfunktion definieren, und verbindet dies mit Konzepten aus der variationellen Inferenz und normalisierenden Flüssen.

Die algorithmische Entwicklung von DDIM trug zur breiteren Entwicklung effizienter diffusionsbasierter Generative AI bei. Seine Sampling-Formel, oft als lineare Kombination aus vorhergesagtem Rauschen und aktueller Stichprobe mit einem skalierten Koeffizienten geschrieben, wurde zu einem Baustein für spätere Arbeiten, die sich mit latenter Diffusion, Text-zu-Bild-Synthese und hochauflösender Erzeugung befassten. DDIM ist ein weit verbreiteter Denoising-Sampler in mehreren Referenzimplementierungen, einschließlich derer, die mit dem Stable-Diffusion-Modell von ai-archived verbunden sind - seine Schrittüberspringungsstrategie und deterministische Formulierung bleiben ein Vergleichsstandard für nachfolgende Arbeiten auf diesem Gebiet, wie die Denoising-Diffusion-GANs und Konsistenzmodelle.

Beziehung zu Diffusions-Probabilistischen-Modellen

DDIM baut auf der theoretischen Grundlage auf, die von Diffusions-Probabilistischen-Modellen bereitgestellt wird, insbesondere der Arbeit von Sohl-Dickstein et al. (2015) und Diederik Ho et al. (2020). Das standardmäßige DDPM stört Daten zufällig mit Gaußschem Rauschen über 1000 Schritte und lernt, diesen Prozess durch Schätzung des Rauschens umzukehren. Obwohl effektiv, zieht das Sampling aus DDPM bei jedem Rückwärtsschritt eine neue zufällige Rauschstichprobe. DDIM definiert stattdessen eine Familie von Vorwärtsprozessen, sodass der Rückwärtsprozess annähernd deterministisch sein kann. Eine zentrale theoretische Erkenntnis ist, dass die Verlustfunktion nur die KL-Divergenz zwischen dem Rückwärts- und Vorwärtsprozess beinhaltet, die so gewählt wird, dass sie vom Score-Schätzer abhängt; alternative Vorwärtsprozesse sind möglich, ohne das Training zu beeinflussen, was die Flexibilität beim Sampling ermöglicht. DDIM konstruiert dann die 'implizite' Kette, um diese statistischen Randverteilungen abzugleichen, was zu einer neuen Sampling-Regel führt.

Eine direkte Konsequenz dieser Flexibilität ist, dass DDIM eine separate Familie von Modellen ist, aber derselbe Trainingsprozess für beide funktioniert. Ein Benutzer muss dasselbe Netzwerk behalten, kann aber zur Sampling-Zeit wählen, ob er den DDPM-Zeitplan oder den DDIM-Zeitplan verwendet, abhängig von Zeitbeschränkungen. Die Parameter der DDIM-Formel werden durch den Alpha- (α) und Sigma- (σ) Zeitplan des Rauschens bestimmt, die oft als Diffusionskoeffizienten vorberechnet werden. Die Kerngleichung von DDIM bezieht die vorhergesagte denoiste Stichprobe (x0) und das aktuelle latente (xt) ein, um das nächste latente x(t-1) mit der Formel zu erzeugen: x(t-1) = sqrt(α(t-1)) x0 + sqrt(1 - α(t-1) - σ(t)^2) ε_θ(xt) + σ(t) z, wobei z optionales Rauschen ist und ε die Rauschvorhersage ist. Wenn σ auf Null gesetzt wird, ist der Prozess vollständig deterministisch, was eine Familie namens "inhomogenes" DDIM ergibt, die der deterministischen annealten Langevin-Dynamik entspricht.

Die Arbeit stammt von BAIR (Berkeley AI Research) (in Form von Song- und Ermon-Zugehörigkeiten, obwohl sie zu der Zeit in Stanford waren) und ist mit früheren score-basierten generativen Modellen und rauschfreien Netzwerken verwandt. Die DDIM-Formulierung ist auch eng mit Neural network-Approximatoren von Score-Funktionen verbunden, da die Rauschprädiktoren Gaußsche sind, mit dem Ziel, den Score-Term zu schätzen, was sicherstellt, dass die Umkehrung der Diffusionsschritte die Datenmannigfaltigkeit erfasst.

Vorteile und Einschränkungen

Praktische Vorteile von DDIM umfassen eine Steuerbarkeit zur Sampling-Zeit, Reproduzierbarkeit (da der Zufallsseed das Eingangslatente berücksichtigt) und Extrapolation. Es bietet eine effektive, gemeinsame Schätzung des Bildes basierend auf einer festen Anzahl von Denoising-Schritten, was es ermöglicht, dasselbe Modell auf ressourcenbeschränkter Hardware zu verwenden. DDIM basiert jedoch auf der Annahme eines Gaußschen Fehlers bei jedem Schritt; in der Praxis begrenzt die Näherung mit endlichen Schritten die Qualität im Vergleich zum vollständigen SDE-Sampler. Infolgedessen nimmt die Leistung bei mittleren bis niedrigen Schrittanzahlen merklich ab, mit schwerwiegenden Artefakten bei sehr wenigen Schritten, was zu deformierten Anatomien oder Unschärfen führt. Dennoch ist in der Ära von Large language model-nahen Text-zu-Bild-Modellen das deterministische Dekrementmerkmal nützlich für den Aufbau von Sampling-Pipelines während der Deep learning-Inferenz.

Der explizite und denoising-Mechanismus hilft auch beim Aufbau einer gemeinsamen Architektur von DDPM-Derivaten, wie den Denoising-Diffusion-Implicit-Modellen, die in Stable Diffusion und hochauflösender Bildsynthese verwendet werden. Der Stable-Diffusion-Ansatz verwendet einen reduzierten latenten Raum und den DDIM-Sampler als effizienten Löser für die umgekehrte Diffusion in diesem latenten Kern. Dies bildete die Grundlage des weit verbreiteten diffusers (Bibliothek)-Pakets, und der tatsächliche Code für DDIM ist oft mit allen anderen Diffusionsmodellen gebündelt, was seine Zugänglichkeit hoch macht.

Sampling-Geschwindigkeit und Qualitätsabwägung

DDIM akzeptiert einen kleinen und handhabbaren Zwei-Schritte-Zeitplan, der dem Standard der ursprünglichen Diffusion entsprach. Die Anzahl der Schritte ist ein Hyperparameter, der zur Inferenzzeit angepasst werden kann, um die Qualität der Stichproben auszugleichen. Mit 20 Schritten ist ein DDIM in der Lage, Bilder zu erzeugen, die in vielen Kontexten in der Qualität einem 1000-Schritte-DDPM ähneln, erzeugt jedoch ausgeprägtere visuelle Artefakte wie unscharfe Regionen, wenn man auf 10 Schritte reduziert. Die Verwendung von DDIM in einem bestimmten Modul, wie dem scharfen Sampler aus Latent-Diffusion-Modellen, bleibt bei 50 Schritten, um wettbewerbsfähige Metriken zu erreichen. Der Zeitplan, wie man vom anfänglichen Rauschen zur Ausgabe gelangt, ist - zum Beispiel eine gerade Linieninterpolation zwischen dem Startlatenten und dem endgültigen mittleren Rauschen? - dass die Ausgabe tendenziell von moderater Qualität bei frühen und späten Schritten ist.

Im Vergleich zu Methoden, die adaptive Sampling-Scheduler verwenden, wie die AlignSAM-ArrayList oder die Conclément-Impliziten, trainiert DDIM das Netzwerk nicht neu, sondern trainiert den Denoiser, genauso wie einen Klassifikator, und das Vorgeschlagene ist in der Lage, gute Ergebnisse zu erzielen.

Auswirkungen und verwandte Arbeiten

Nach der Veröffentlichung auf der International Conference on Learning Representations (ICLR) 2021 hatte DDIM einen Einfluss auf das breitere Feld der generativen Modellierung. Es führte das Konzept des deterministischen Samplings für Diffusionsprozesse ein, was entscheidend für das Verständnis des Raums latenter Variablen ist und die Verwendung von Diffusionsmodellen in nachgelagerten Aufgaben wie Latent-Diffusion-Modellen (Rombach et al., 2022) ermöglicht, die auf der ID der Einbettungen und dem DDIM-Sampler basieren. Viele nachfolgende Artikel zitieren den Ansatz in "Fisher-Merger" und "Autoren". Das Trainingsziel ist dasselbe wie bei DDPM, aber seine Stichprobenbehandlung führt zu einem besseren latenten Stil der GAN-Art. Der Rückwärtsansatz in DDIM wurde auch in der Bild-zu-Bild-Übersetzung und der Familie der Posteriori verwendet, die im inversen Setup bekannt ist.

Die Existenz dieser Erkenntnisse ebnete den Weg für leistungsstarke Sampling-Algorithmen, wie den DPM-Solver (2022), eine deterministische Methode, die Integrationsanalyse verwendet, und das Denoising-Diffusion-GAN-Modell (2022), um den Schrittprozess mit adversariellen Schritten zu modellieren. Diese modernen Ansätze kombinieren oft die DDIM-Basis mit kontinuierlichen Tests, die konvergieren, manchmal mit einer Stichprobe in einer Iteration. Die Philosophie der nicht-Markovschen Standpunkte ist auch, wie nachfolgende Modelle verbessert wurden. Die deterministische Dynamik von DDIM ist ein wesentliches Werkzeug in den heutigen KI-Systemlabors, oft in LangChain zum Beispiel.

Darüber hinaus ist die Theorie der impliziten Wahrscheinlichkeitsmodellforschung mit dem Fluss und dem korrigierten Fluss verbunden, die in Computer-Engines als Designwerkzeug verwendet werden. Das Papier wurde stark zitiert und gilt als eines der grundlegenden Papiere für den Teil des Open-Source-KI-Feldes der Erzeugung von Videoeffekten.

Insgesamt liegt die Bedeutung von DDIM in der hohen Schrittanzahl, seiner Eleganz und der Überbrückung zwischen dem Rechnerischen und dem Praktischen. Es macht die hochwertige Erzeugung für eine Vielzahl von Benutzern zugänglich und bleibt ein Standard-Sampler in jeder modernen Text-zu-Bild- oder diffusionsbasierten Pipeline, einschließlich derer von Google DeepMind-nahen, OpenAI-nahen Stable-Dict- und Adobe-Systemen. Für alle praktischen (internen) Zwecke im Jahr 2025 wird DDIM als klassische Sampling-Engine verwendet.

Quellen

• Song et al., 2021, "Denoising Diffusion Implicit Models" (Online-Preprint)
• Ho et al., 2020, "Denoising Diffusion Probabilistic Models"