Eine eingeschränkte Boltzmann-Maschine (RBM) ist ein generatives stochastisches künstliches neuronales Netz, das eine Wahrscheinlichkeitsverteilung über seine Eingaben erlernen kann. Sie ist eine Variante der Boltzmann-Maschine, mit der Einschränkung, dass ihre Neuronen einen bipartiten Graphen bilden: Verbindungen bestehen nur zwischen zwei Gruppen von Einheiten, die üblicherweise als sichtbare und verborgene Einheiten bezeichnet werden, und es gibt keine Verbindungen innerhalb jeder Gruppe. Diese Einschränkung ermöglicht effizientere Trainingsalgorithmen als für allgemeine Boltzmann-Maschinen verfügbar sind, insbesondere den gradientenbasierten Kontrastdivergenz-Algorithmus.
RBMs wurden ursprünglich unter dem Namen Harmonium von Paul Smolensky im Jahr 1986 vorgeschlagen und erlangten Bekanntheit, nachdem Geoffrey Hinton und Mitarbeiter Mitte der 2000er Jahre schnelle Lernalgorithmen für sie entwickelten. Sie haben Anwendungen in der Dimensionsreduktion, Klassifikation, kollaborativen Filterung, Merkmalsextraktion, Themenmodellierung, Immunologie und der Vielteilchen-Quantenmechanik gefunden. RBMs können je nach Aufgabe überwacht oder unüberwacht trainiert werden und sind eine Schlüsselkomponente in Deep-Learning-Netzen, bei denen tiefe Glaubensnetzwerke durch Stapeln von RBMs und optionales Feintuning des resultierenden Netzes mit Gradientenabstieg und Backpropagation gebildet werden können.
Struktur
Der Standardtyp einer RBM hat binärwertige (boolesche) verborgene und sichtbare Einheiten. Sie besteht aus einer Gewichtsmatrix \(W\) der Größe \(m \times n\), wobei jedes Gewichtselement \(w_{i,j}\) mit der Verbindung zwischen der sichtbaren Einheit \(v_i\) und der verborgenen Einheit \(h_j\) assoziiert ist. Zusätzlich gibt es Bias-Gewichte \(a_i\) für sichtbare Einheiten und \(b_j\) für verborgene Einheiten. Die Energie einer Konfiguration (Paar boolescher Vektoren) \((v, h)\) ist definiert als:
\[ E(v, h) = -\sum_i a_i v_i - \sum_j b_j h_j - \sum_i \sum_j v_i w_{i,j} h_j \]
oder in Matrixnotation:
\[ E(v, h) = -a^{\mathrm{T}} v - b^{\mathrm{T}} h - v^{\mathrm{T}} W h. \]
Diese Energiefunktion ist analog zu der eines Hopfield-Netzes. Wie bei allgemeinen Boltzmann-Maschinen ist die gemeinsame Wahrscheinlichkeitsverteilung für die sichtbaren und verborgenen Vektoren in Bezug auf die Energiefunktion definiert:
\[ P(v, h) = \frac{1}{Z} e^{-E(v, h)} \]
wobei \(Z\) eine Zustandssumme ist, eine Normierungskonstante, die sicherstellt, dass sich die Wahrscheinlichkeiten zu 1 summieren. Die Randwahrscheinlichkeit eines sichtbaren Vektors ist die Summe von \(P(v, h)\) über alle möglichen Konfigurationen der verborgenen Schicht und umgekehrt.
Training und Kontrastdivergenz
Da die zugrunde liegende Graphstruktur einer RBM bipartit ist, sind die Aktivierungen der verborgenen Einheiten bei gegebenen Aktivierungen der sichtbaren Einheiten gegenseitig unabhängig, und umgekehrt sind die Aktivierungen der sichtbaren Einheiten bei gegebenen Aktivierungen der verborgenen Einheiten gegenseitig unabhängig. Diese Eigenschaft vereinfacht die Berechnung bedingter Wahrscheinlichkeiten und ermöglicht ein effizientes Training. Der gebräuchlichste Trainingsalgorithmus ist die Kontrastdivergenz, die den Gradienten der Log-Likelihood approximiert, indem sie einen kurzen Markov-Ketten-Monte-Carlo-Lauf durchführt, typischerweise mit einem Gibbs-Sampling-Schritt. Dieser Ansatz vermeidet die unlösbare Berechnung der Zustandssumme \(Z\), die über alle möglichen Konfigurationen summiert.
RBMs können sowohl im überwachten als auch im unüberwachten Modus trainiert werden. Beim unüberwachten Lernen lernt das Modell, die Verteilung der Eingabedaten zu repräsentieren, oft zur Merkmalsextraktion oder Dimensionsreduktion. Bei überwachten Aufgaben kann die RBM angepasst werden, um Labels vorherzusagen, indem sie in die sichtbare Schicht integriert oder eine separate Ausgabeschicht verwendet wird.
Anwendungen im Deep Learning
Eingeschränkte Boltzmann-Maschinen sind ein grundlegendes Element im Deep Learning. Ein tiefes Glaubensnetzwerk kann durch Stapeln mehrerer RBMs gebildet werden, wobei die verborgene Schicht einer RBM als sichtbare Schicht für die nächste dient. Dieses schichtweise Vortraining ermöglicht es dem Netzwerk, hierarchische Merkmale aus Daten zu lernen. Nach dem Vortraining kann das gesamte Netzwerk mit Gradientenabstieg und Backpropagation feinjustiert werden, eine Technik, die für die Entwicklung moderner Deep-Learning-Architekturen einflussreich war.
RBMs wurden auf kollaborative Filterung angewendet, wo sie Benutzer-Artikel-Interaktionen für Empfehlungssysteme modellieren, und auf Themenmodellierung, wo sie latente Themen aus Textkorpora lernen. In der Immunologie wurden sie verwendet, um Immunantworten zu modellieren, und in der Quantenmechanik wurden sie eingesetzt, um Vielteilchen-Quantenzustände darzustellen.
Beziehung zu anderen Modellen
RBMs sind eng mit anderen neuronalen Netzwerkmodellen verwandt. Sie sind ein Spezialfall von Boltzmann-Maschinen, die Verbindungen zwischen verborgenen Einheiten erlauben, aber die bipartite Einschränkung macht das Training handhabbarer. Sie teilen auch Ähnlichkeiten mit Hopfield-Netzen in ihrer Energiefunktion, aber RBMs sind generativ und stochastisch, während Hopfield-Netze typischerweise deterministisch sind und für assoziatives Gedächtnis verwendet werden. Im weiteren Kontext des maschinellen Lernens gelten RBMs als eine Art generatives Modell, das sich von diskriminativen Modellen wie standardmäßigen neuronalen Netzen mit Vorwärtskopplung unterscheidet.
Vermächtnis und Einfluss
Die Entwicklung von RBMs trug wesentlich zum Wiederaufleben des Deep Learnings Mitte der 2000er Jahre bei. Geoffrey Hinton, der später eine prominente Figur in der künstlichen Intelligenz wurde, nutzte RBMs, um zu demonstrieren, dass tiefe Netzwerke effektiv trainiert werden können, und überwand damit frühere Schwierigkeiten mit gradientenbasierten Methoden. Diese Arbeit beeinflusste nachfolgende Architekturen, einschließlich Transformatoren und großer Sprachmodelle, obwohl diese Modelle unterschiedliche Trainingsparadigmen verwenden. RBMs bleiben ein wichtiges theoretisches Modell in der Untersuchung von generativer KI und werden weiterhin in spezialisierten Anwendungen eingesetzt, wo ihre probabilistische Natur vorteilhaft ist.