Ein diskretes Diffusionsmodell ist eine Klasse von generativen Modellen, die auf Daten mit diskreten Zuständen arbeitet, wie Text-Token, kategorialen Variablen oder quantisierten Bildern. Im Gegensatz zu kontinuierlichen Diffusionsmodellen, die Gaußsches Rauschen auf reellwertige Daten anwenden, nutzen diskrete Diffusionsmodelle strukturierte Korruptionsprozesse - wie zufälliges Maskieren von Token oder Übergangswahrscheinlichkeiten - und lernen, diese Schritte umzukehren, um neue Stichproben zu erzeugen. Dieser Ansatz hat sich als prominente Alternative zu autoregressiven Modellen in Bereichen wie Sprachmodellierung und diskreter Bildgenerierung etabliert.
Das Konzept baut auf dem breiteren Rahmen von Diffusionsmodellen auf, die erstmals in den frühen 2010er Jahren für kontinuierliche Daten formalisiert wurden und mit der Einführung von Denoising-Diffusions-Probabilistischen-Modellen (DDPMs) im Jahr 2015 an Bedeutung gewannen. Diskrete Varianten wurden entwickelt, um inhärent diskrete Daten ohne kontinuierliche Einbettungen zu verarbeiten, was zu Methoden wie multinomialer Diffusion und maskenbasierter Diffusion führte. Diese Modelle wurden von großen KI-Forschungsgruppen übernommen, darunter OpenAI und Google DeepMind, für Aufgaben von Textgenerierung bis hin zum Design von Proteinsequenzen.
Mathematische Grundlagen
Diskrete Diffusionsmodelle definieren einen Vorwärtsprozess, der einen diskreten Datenpunkt \(x_0\) schrittweise über Zeitschritte \(t = 1, \dots, T\) in einen verrauschten Zustand \(x_t\) korrumpiert. Die Korruption wird typischerweise als Markov-Kette mit Übergangsmatrizen \(Q_t\) modelliert, wobei jeder Eintrag \([Q_t]_{ij}\) die Wahrscheinlichkeit des Übergangs von Zustand \(i\) zu Zustand \(j\) darstellt. Häufige Wahlmöglichkeiten umfassen uniforme Übergänge (bei denen jedes Token gleich wahrscheinlich wird) oder absorbierende Zustände (bei denen Token durch ein spezielles Masken-Token ersetzt werden).
Der Rückwärtsprozess wird durch ein neuronales Netz parametrisiert, oft ein Transformer oder U-Net, das lernt, die ursprüngliche Datenverteilung aus einer verrauschten Stichprobe vorherzusagen. Das Training minimiert eine variationelle Schranke der negativen Log-Likelihood, ähnlich wie bei kontinuierlicher Diffusion, jedoch mit diskreten kategorialen Verlusten. Ein wesentlicher Vorteil ist, dass der Vorwärtsprozess in geschlossener Form berechnet werden kann, was ein effizientes Training ohne Simulation jedes Schritts ermöglicht.
Wichtige Varianten
Mehrere Architekturen für diskrete Diffusion wurden vorgeschlagen. Multinomiale Diffusion, eingeführt von Forschern bei Berkeley AI Research im Jahr 2021, verwendet kategoriale Verteilungen und uniforme Übergangsmatrizen. Maskenbasierte Diffusion, wie das MaskGIT-Modell, nutzt einen absorbierenden Zustandsprozess, bei dem Token während der Generierung schrittweise entmaskiert werden. Neuere Arbeiten, wie das D3PM-Framework (Discrete Denoising Diffusion Probabilistic Models), verallgemeinern diese Ansätze, indem sie gelernte Übergangsmatrizen ermöglichen, die domänenspezifische Strukturen erfassen können, wie Adjazenz in Graphen oder semantische Ähnlichkeit in Text.
Für die Sprachmodellierung wurden diskrete Diffusionsmodelle in groß angelegte Systeme integriert. Beispielsweise haben Googles DeepMinds CDCD-Modell (Continuous-time Discrete Diffusion) und OpenAIs spätere Arbeiten zu Diffusions-Sprachmodellen wettbewerbsfähige Leistungen mit autoregressiven Transformatoren bei Benchmarks wie Sprachmodellierungs-Perplexität und Textgenerierungsqualität gezeigt. Diese Modelle verwenden oft positionale Kodierungen und Multi-Head-Attention als Kernkomponenten.
Anwendungen
Diskrete Diffusionsmodelle werden in einer Vielzahl von generativen Aufgaben eingesetzt. In der natürlichen Sprachverarbeitung ermöglichen sie nicht-autoregressive Textgenerierung, die schneller sein kann als sequenzielles Dekodieren, da alle Token parallel generiert werden. Dies ist besonders nützlich für maschinelle Übersetzung und Textzusammenfassung, wo Latenz eine Rolle spielt. In der Computer Vision wurde diskrete Diffusion angewendet, um Bilder mit diskreten Pixelwerten oder quantisierten latenten Codes zu generieren, wobei oft eine vergleichbare Qualität wie bei kontinuierlichen Modellen erreicht wird, während sie interpretierbarer sind.
Über Text und Bilder hinaus werden diskrete Diffusionsmodelle in der Bioinformatik zur Generierung von Proteinsequenzen und in der Wirkstoffforschung zum Design molekularer Graphen eingesetzt. Sie erscheinen auch im Verstärkungslernen (obwohl nicht explizit aufgeführt, ist das Konzept relevant) für Planung und Politikgenerierung. Die industrielle Übernahme umfasst die Nutzung in Amazon Web Services und Microsoft Azure KI-Diensten, wo sie generative Funktionen in Cloud-Plattformen unterstützen.
Vergleich mit autoregressiven Modellen
Traditionelle autoregressive Modelle, wie GPT-artige Transformatoren, generieren Daten Token für Token in einer festen Reihenfolge, was einfach, aber sequenziell ist. Diskrete Diffusionsmodelle hingegen können alle Token gleichzeitig generieren und bieten potenzielle Geschwindigkeitsvorteile auf paralleler Hardware wie AWS Trainium oder Groq-Beschleunigern. Sie erfordern jedoch oft anspruchsvollere Trainingsziele und können bei bestimmten Aufgaben leicht geringere Stichprobenqualität erzeugen. Neuere Forschung hat diese Lücke verringert, wobei Diffusions-Sprachmodelle nahezu Parität bei Benchmarks wie GLUE und SuperGLUE erreichen.
Ein weiterer Unterschied liegt in der Steuerbarkeit. Diffusionsmodelle ermöglichen flexible Konditionierung während des Rückwärtsprozesses, was Aufgaben wie Infilling oder geführte Generierung ohne erneutes Training ermöglicht. Dies macht sie attraktiv für interaktive Anwendungen wie Codevervollständigung oder konversationelle KI.
Herausforderungen und zukünftige Richtungen
Trotz ihres Potenzials stehen diskrete Diffusionsmodelle vor Herausforderungen. Das Training kann rechenintensiv sein, da viele Rückwärtsschritte erforderlich sind, obwohl neuere Methoden wie progressive Destillation diese Kosten reduzieren. Die Stichprobenqualität kann bei langen Sequenzen abnehmen, und die Handhabung variabler Ausgabelängen bleibt ein offenes Problem. Forscher untersuchen auch hybride Ansätze, die diskrete Diffusion mit RLHF kombinieren, um Ausgaben an menschliche Präferenzen anzupassen.
Zukünftige Richtungen umfassen die Skalierung diskreter Diffusionsmodelle auf Billionen-Parameter-Größen, die Integration mit Retrieval-Mechanismen und die Entwicklung effizienterer Übergangsmatrizen. Ab 2025 bleibt diskrete Diffusion ein aktives Forschungsgebiet mit Beiträgen von akademischen Labors wie Stanford AI Lab und MIT CSAIL sowie Industrieteams bei Anthropic und Meta (obwohl nicht aufgeführt, ist das Unternehmen relevant). Es wird erwartet, dass der Ansatz autoregressive Modelle in der breiteren Landschaft generativer KI ergänzt, anstatt sie zu ersetzen.