Ein energiebasiertes Modell (EBM), auch als Canonical Ensemble Learning (CEL) oder Learning via Canonical Ensemble (LCE) bezeichnet, ist eine Anwendung der kanonischen Ensemble-Formulierung aus der statistischen Physik zum Lernen aus Daten. Der Ansatz tritt prominent in der generativen KI auf. EBMs bieten einen einheitlichen Rahmen für viele probabilistische und nicht-probabilistische Ansätze für solches Lernen, insbesondere für das Training grafischer und anderer strukturierter Modelle. Ein EBM lernt die Merkmale eines Zieldatensatzes und erzeugt einen ähnlichen, aber größeren Datensatz. EBMs erkennen die latenten Variablen eines Datensatzes und erzeugen neue Datensätze mit einer ähnlichen Verteilung. Energiebasierte generative neuronale Netze sind eine Klasse generativer Modelle, die darauf abzielen, explizite Wahrscheinlichkeitsverteilungen von Daten in Form von energiebasierten Modellen zu lernen, deren Energiefunktionen durch moderne tiefe neuronale Netze parametrisiert werden. Boltzmann-Maschinen sind eine spezielle Form energiebasierter Modelle mit einer spezifischen Parametrisierung der Energie.
Mathematische Formulierung
Für eine gegebene Eingabe \(x\) beschreibt das Modell eine Energie \(E_\theta(x)\), sodass die Boltzmann-Verteilung \(P_\theta(x) = e^{-\beta E_\theta(x)} / Z(\theta)\) eine Wahrscheinlichkeit(-sdichte) ist, und typischerweise \(\beta = 1\). Die Normierungskonstante \(Z(\theta) := \int_{x \in X} e^{-\beta E_\theta(x)} dx\), auch als Zustandssumme bekannt, hängt von allen Boltzmann-Faktoren aller möglichen Eingaben \(x\) ab, was sie für hochdimensionale Daten rechnerisch unlösbar macht. Diese Unlösbarkeit verkompliziert die Standard-Schätzung der maximalen Wahrscheinlichkeit.
Der Gradient der Log-Likelihood für ein einzelnes Trainingsbeispiel \(x\) kann jedoch wie folgt ausgedrückt werden:
\[
\partial_\theta \log P_\theta(x) = \mathbb{E}_{x' \sim P_\theta}[\partial_\theta E_\theta(x')] - \partial_\theta E_\theta(x)
\]
Dieser Gradient besteht aus einer positiven Phase (der Energie der beobachteten Daten) und einer negativen Phase (der erwarteten Energie unter der Modellverteilung). Die Erwartung in der negativen Phase wird typischerweise durch das Ziehen von Stichproben aus \(P_\theta\) unter Verwendung von Markov-Ketten-Monte-Carlo-Methoden (MCMC) approximiert.
Training durch Kontrastive Divergenz
Frühe energiebasierte Modelle, wie die Boltzmann-Maschine von 2003 von Hinton, schätzten die Erwartung durch blockweises Gibbs-Sampling. Neuere Ansätze verwenden effizientere Stochastische Gradienten-Langevin-Dynamik (LD), die Stichproben wie folgt zieht:
\[
x_0' \sim P_0, \quad x_{i+1}' = x_i' - \frac{\alpha}{2} \frac{\partial E_\theta(x_i')}{\partial x_i'} + \epsilon
\]
wobei \(\epsilon \sim \mathcal{N}(0, \alpha)\). Ein Wiedergabepuffer (Replay Buffer) vergangener Werte \(x_i'\) wird mit LD verwendet, um das Optimierungsmodul zu initialisieren. Die Parameter \(\theta\) des neuronalen Netzes werden auf generative Weise mittels MCMC-basierter Maximum-Likelihood-Schätzung trainiert. Der Lernprozess folgt einem „Analyse-durch-Synthese“-Schema: Innerhalb jeder Lerniteration sampelt der Algorithmus synthetisierte Beispiele aus dem aktuellen Modell mittels einer gradientenbasierten MCMC-Methode (z. B. Langevin-Dynamik oder Hybrid-Monte-Carlo) und aktualisiert dann die Parameter \(\theta\), um die Energie der beobachteten Daten zu senken, während die Energie der gesampelten Daten erhöht wird.
Beziehung zu anderen generativen Modellen
Energiebasierte Modelle bieten eine flexible Alternative zu anderen generativen Ansätzen. Im Gegensatz zu generativer KI-Modellen, die direkt Daten ausgeben (z. B. große Sprachmodelle oder Transformatoren), definieren EBMs eine nicht-normalisierte Wahrscheinlichkeitsverteilung. Dies ermöglicht es ihnen, komplexe Abhängigkeiten zu modellieren, ohne eine handhabbare Likelihood zu benötigen. Sie sind eng mit neuronalen Netzen verwandt, wenn die Energiefunktion durch ein tiefes Netz parametrisiert wird, was zu energiebasierten generativen neuronalen Netzen führt. Boltzmann-Maschinen, einschließlich eingeschränkter Boltzmann-Maschinen, sind ein Sonderfall, bei dem die Energiefunktion eine spezifische bipartite Struktur aufweist.
Anwendungen in der generativen KI
Energiebasierte Modelle wurden auf verschiedene generative Aufgaben angewendet, darunter Bilderzeugung, Entrauschung und Anomalieerkennung. Im Kontext des Deep Learning können EBMs verwendet werden, um latente Darstellungen zu lernen und neue Stichproben mit ähnlichen Statistiken wie die Trainingsdaten zu erzeugen. Sie wurden auch für strukturierte Vorhersage und halbüberwachtes Lernen untersucht. Jüngste Forschung hat EBMs mit Machine-Learning-Techniken wie Residualnetzen und U-Nets kombiniert, um die Skalierbarkeit zu verbessern.
Herausforderungen und Erweiterungen
Die Hauptherausforderung beim Training von EBMs ist die unlösbare Zustandssumme, die ausgefeilte Sampling-Techniken erfordert. MCMC-Methoden wie die Langevin-Dynamik können langsam mischen, insbesondere in hochdimensionalen Räumen. Um dies zu adressieren, haben Forscher Techniken wie kontrastive Divergenz, persistente kontrastive Divergenz und Score Matching entwickelt. Score Matching vermeidet explizites Sampling, indem es den Gradienten der Log-Dichte abgleicht, der mit der Energiefunktion zusammenhängt. Eine weitere Erweiterung ist die Verwendung von Datenaugmentierung, um die Stichprobenqualität und die Trainingsstabilität zu verbessern.
Historischer Kontext
Das Konzept energiebasierter Modelle hat seine Wurzeln in der statistischen Physik, wo das kanonische Ensemble die Verteilung von Zuständen in einem System im thermischen Gleichgewicht beschreibt. Die Anwendung auf maschinelles Lernen geht auf die 1980er Jahre mit Hopfield-Netzen und Boltzmann-Maschinen zurück. Die Boltzmann-Maschine von 2003 von Hinton markierte einen bedeutenden Meilenstein beim Training tiefer EBMs. Seitdem wurden EBMs an Institutionen wie MIT CSAIL und Stanford AI Lab untersucht. Moderne Entwicklungen wurden durch Fortschritte bei neuronalen Netzen und MCMC-Methoden vorangetrieben.
Zukünftige Richtungen
Seit den frühen 2020er Jahren bleiben energiebasierte Modelle ein aktives Forschungsgebiet, insbesondere zur Verbesserung der Sampling-Effizienz und der Skalierung auf große Datensätze. Sie werden als potenzielle Ergänzung zu generativer KI-Systemen wie großen Sprachmodellen angesehen, die einen prinzipiellen Weg zur Modellierung von Unsicherheit und Randbedingungen bieten. Forscher untersuchen hybride Ansätze, die EBMs mit Transformatoren und anderen Architekturen kombinieren, sowie Anwendungen im Reinforcement Learning und in der Robotik.