Ein Diffusionsmodell ist ein generatives Modell, das lernt, Daten zu erzeugen, meist Bilder, Videos oder Audio, indem es einen schrittweisen Verrauschungsprozess umkehrt: Es wird darauf trainiert, schrittweise Rauschen aus einer verrauschten Stichprobe zu entfernen, und kann nach dem Training neue Daten erzeugen, indem es mit reinem Zufallsrauschen beginnt und dieses iterativ zu einem kohärenten Ausgabesignal entrauscht. Diffusionsmodelle sind die Technologie hinter den meisten führenden Text-zu-Bild- und Text-zu-Video-Systemen Mitte der 2020er Jahre und haben Generative Adversarial Networks als dominierenden Ansatz für hochwertige Bildsynthese abgelöst.
Geschichte
Die theoretische Grundlage wurde in einem Papier von 2015 von Jascha Sohl-Dickstein und Kollegen gelegt, das eine Analogie zur Nichtgleichgewichtsthermodynamik zog, um einen Prozess zu beschreiben, bei dem Struktur in Daten schrittweise durch Rauschen zerstört und dann gelernt wird, diesen umzukehren. Der Ansatz blieb eine Forschungskuriosität, bis Jonathan Ho, Ajay Jain und Pieter Abbeel 2020 Denoising Diffusion Probabilistic Models, kurz DDPM, veröffentlichten und zeigten, dass ein relativ einfaches Trainingsziel eine Bildqualität erzeugen kann, die mit GANs konkurrenzfähig ist. Die Technik erlangte Mainstream-Aufmerksamkeit durch OpenAI's DALL-E 2 im April 2022 und wurde wenige Monate später mit der Open-Source-Veröffentlichung von Stable Diffusion im August 2022 breit zugänglich, das auf latenter Diffusion basiert, einer 2022 von Robin Rombach und Kollegen eingeführten Technik, die den Entrauschungsprozess in einem komprimierten latenten Raum statt direkt auf Rohpixeln durchführt und so den Rechenaufwand für Training und Ausführung von Diffusionsmodellen drastisch reduziert.
Funktionsweise
Das Training eines Diffusionsmodells umfasst einen Vorwärtsprozess, der über viele Schritte kleine Mengen Gaußschen Rauschens zu einer realen Datenstichprobe hinzufügt, bis diese nicht mehr von reinem Rauschen zu unterscheiden ist, sowie ein neuronales Netzwerk, typischerweise ein U-Net oder zunehmend eine Transformer-basierte Architektur, das darauf trainiert wird, das in jedem Schritt hinzugefügte Rauschen vorherzusagen und zu entfernen, wodurch es effektiv den Rückwärtsprozess lernt. Die Generierung führt diesen Rückwärtsprozess von Grund auf aus: Beginnend mit Zufallsrauschen sagt das Modell wiederholt Rauschen voraus und subtrahiert es über eine Reihe von Schritten, wodurch nach und nach ein kohärentes Bild oder Video entsteht. Konditionierungsmechanismen, am häufigsten durch Kodierung eines Text-Prompts und dessen Einspeisung in das Entrauschungsnetzwerk über Kreuzaufmerksamkeit, ermöglichen es Nutzern, zu steuern, was das Modell erzeugt, und Techniken wie classifier-free guidance verstärken, wie eng die Ausgabe diesem Konditionierungssignal folgt.
Anwendungen und Ökosystem
Diffusionsmodelle betreiben im Wesentlichen jeden wichtigen Bildgenerator, der weit verbreitet ist, darunter Stable Diffusion, DALL-E, Midjourney und Flux, und liegen führenden Videogeneratoren wie Sora, Googles Veo und chinesischen Systemen wie Kling und Seedance zugrunde. Erweiterungen wie ControlNet, eingeführt 2023, fügen strukturelle Konditionierung hinzu, sodass Nutzer die Generierung mit Skizzen, Posen oder Tiefenkarten steuern können, während Ökosysteme rund um offene Checkpoints umfangreiche Anpassungen durch Techniken wie von der Community trainierte LoRA-Adapter unterstützen. Diffusionstechniken wurden auch über die Mediengenerierung hinaus angewendet, einschließlich Proteinstrukturvorhersage und Moleküldesign, und Forscher haben diffusionsbasierte Ansätze zur Textgenerierung als Alternative zum tokenweisen autoregressiven Ansatz untersucht, der von den meisten Large Language Models verwendet wird, obwohl autoregressive Generierung für Text bis 2025 dominant bleibt.
Einschränkungen
Im Vergleich zu GANs sind Diffusionsmodelle zur Inferenzzeit rechenintensiv, da die Erzeugung einer einzelnen Stichprobe dutzende oder hunderte sequenzielle Entrauschungsschritte erfordern kann, obwohl Techniken wie Destillation in Modelle mit wenigen Schritten und verbesserte Sampler diese Kosten seit 2022 erheblich reduziert haben. Diffusionsmodelle, die auf großen, unkuratierten Web-Scraping-Datensätzen trainiert wurden, waren auch mit KI-Urheberrechts-Streitigkeiten konfrontiert, ob die Erzeugung von Bildern im Stil von oder ähnlich zu Künstlern in den Trainingsdaten eine Urheberrechtsverletzung darstellt, und wurden hinsichtlich ihrer Fähigkeit kritisiert, gespeicherte Trainingsbilder unter bestimmten Bedingungen wörtlich zu reproduzieren.