Denoising-Diffusion-Probabilistische-Modelle (DDPMs) sind eine Klasse von generativen Modellen im maschinellen Lernen, die Daten erzeugen, indem sie lernen, einen schrittweisen Verrauschungsprozess umzukehren. Sie gehören zur breiteren Familie der Diffusionsmodelle, die Daten als einen zufälligen Gang mit Drift durch einen hochdimensionalen Raum modellieren. DDPMs wurden in einem Paper aus dem Jahr 2020 eingeführt, das frühere diffusionsbasierte Ansätze mittels variationeller Inferenz verbesserte, und sie wurden zu einer Grundlage für viele moderne Bildgenerierungssysteme.
Bei einem DDPM fügt der Vorwärtsprozess über eine Sequenz von Zeitschritten Gaußsches Rauschen zu einem Bild hinzu und wandelt es allmählich in reines Rauschen um. Das Modell wird trainiert, diesen Prozess umzukehren, indem es mit zufälligem Rauschen beginnt und iterativ entrauscht, um ein realistisches Bild zu erzeugen. Dieser Ansatz hat sich als äußerst effektiv für Aufgaben wie Bildgenerierung, Inpainting und Super-Resolution erwiesen und bildet die Grundlage für kommerzielle Systeme wie Stable Diffusion und DALL-E.
Kernmechanismus
Das DDPM-Framework definiert einen Vorwärtsdiffusionsprozess mit einem festen Zeitplan von Rauschpegeln. Für ein gegebenes Bild wird bei jedem Zeitschritt gemäß einem Varianz-Zeitplan Rauschen hinzugefügt, wodurch eine Sequenz zunehmend verrauschter Versionen entsteht. Der Rückwärtsprozess wird von einem neuralen Netzwerk gelernt, typischerweise einem U-Net oder einem Transformer, das die Rauschkomponente bei jedem Schritt vorhersagt. Das Training minimiert einen einfachen mittleren quadratischen Fehler zwischen dem vorhergesagten und dem tatsächlichen Rauschen, was einer Form von variationeller Inferenz entspricht.
Mathematisch verwendet der Vorwärtsprozess Konstanten \(\beta_1, \dots, \beta_T\) in (0,1), mit \(\alpha_t = 1 - \beta_t\) und \(\bar{\alpha}_t = \prod_{s=1}^t \alpha_s\). Das verrauschte Bild zum Zeitschritt \(t\) ist eine lineare Kombination aus dem Originalbild und Gaußschem Rauschen, mit Varianz \(\sigma_t^2 = 1 - \bar{\alpha}_t\). Der Rückwärtsprozess wird durch ein neuronales Netzwerk parametrisiert, das den Mittelwert der Entrauschungsverteilung ausgibt.
Training und Sampling
Das Training eines DDPM umfasst das Abtasten eines zufälligen Zeitschritts, das Hinzufügen des entsprechenden Rauschens zu einem Bild und das Trainieren des Netzwerks, dieses Rauschen vorherzusagen. Die Verlustfunktion ist \(\mathbb{E}_{t, \mathbf{x}_0, \epsilon}[\|\epsilon - \epsilon_\theta(\mathbf{x}_t, t)\|^2]\), wobei \(\epsilon\) das Rauschen und \(\epsilon_\theta\) die Vorhersage des Netzwerks ist. Dieses Ziel wird aus einer variationellen Schranke der Log-Likelihood abgeleitet.
Beim Sampling startet das Modell mit reinem Gaußschem Rauschen und wendet den Rückwärtsprozess iterativ für \(T\) Schritte an, wobei es jedes Mal einen Teil des Rauschens entfernt. Die Anzahl der Schritte kann mithilfe von Techniken wie Denoising-Diffusion-Impliziten-Modellen (DDIM) oder durch das Lernen eines Rausch-Zeitplans reduziert werden, was eine schnellere Generierung ermöglicht.
Historischer Kontext
Diffusionsmodelle wurden erstmals 2015 von Forschern wie Jascha Sohl-Dickstein und Kollegen vorgeschlagen, die Prinzipien der Nichtgleichgewichtsthermodynamik verwendeten. Sie zeigten, dass eine komplexe Datenverteilung allmählich zu einer einfachen Gaußschen Verteilung diffundiert werden kann und dass das Lernen, diesen Prozess umzukehren, neue Stichproben erzeugen kann. Frühe Methoden waren jedoch rechenintensiv und zu dieser Zeit weniger effektiv als GANs.
Das DDPM-Paper von 2020, verfasst von Jonathan Ho, Ajay Jain und Pieter Abbeel, zeigte, dass Diffusionsmodelle mit einem sorgfältig gewählten Rausch-Zeitplan und einem U-Net-Rückgrat eine erstklassige Bildgenerierungsqualität erreichen konnten. Dies löste eine rasche Expansion von Forschung und Anwendungen aus.
Anwendungen und Auswirkungen
Stand 2024 werden DDPMs und ihre Varianten in der Computervision häufig für Aufgaben wie Bildentrauschung, Inpainting, Super-Resolution und Text-zu-Bild-Generierung eingesetzt. Sie werden auch in der Verarbeitung natürlicher Sprache für Textgenerierung und Zusammenfassung sowie in der Audiogenerierung angewendet. Kommerzielle Produkte wie Stable Diffusion und DALL-E kombinieren DDPMs mit Textencodern und Cross-Attention-Modulen, um textbedingte Generierung zu ermöglichen, was sie einem breiten Publikum zugänglich macht.
DDPMs haben auch andere Bereiche beeinflusst, darunter Verstärkendes Lernen und wissenschaftliche Simulation, wo sie zur Modellierung komplexer Verteilungen verwendet werden. Ihre Fähigkeit, qualitativ hochwertige Stichproben zu erzeugen, hat sie zu einem Eckpfeiler der modernen Forschung im Bereich künstlicher Intelligenz gemacht.
Einschränkungen und zukünftige Richtungen
Trotz ihres Erfolgs haben DDPMs Einschränkungen. Das Sampling ist typischerweise langsamer als bei GANs aufgrund des iterativen Entrauschungsprozesses, obwohl beschleunigte Methoden entwickelt wurden. Sie erfordern auch erhebliche Rechenressourcen für das Training, was das Interesse an effizienten Architekturen und Hardware wie AWS Trainium und Google Cloud TPUs geweckt hat. Laufende Forschung konzentriert sich auf die Verbesserung der Stichprobenqualität, die Reduzierung der Inferenzzeit und die Erweiterung von DDPMs auf neue Modalitäten.
Stand 2025 bleiben Diffusionsmodelle ein aktives Forschungsgebiet, wobei Innovationen bei Rückgratarchitekturen, Rausch-Zeitplänen und Konditionierungsmechanismen weiterhin die Grenzen des Möglichen in der generativen Modellierung erweitern.