Ein Boltzmann-Maschine ist eine Art stochastisches rekurrentes neuronales Netzwerk, das lernt, Wahrscheinlichkeitsverteilungen über binäre Ausgabezustände darzustellen und daraus zu sampeln. Es ist nach der Boltzmann-Verteilung aus der statistischen Mechanik benannt, die die Wahrscheinlichkeit jedes Netzwerkzustands basierend auf seiner Energie bestimmt. Das Modell wird auch als Markov-Zufallsfeld klassifiziert und ist eine spezifische Instanz des Sherrington-Kirkpatrick-Modells mit einem externen Feld, auch bekannt als stochastisches Ising-Modell. Es wurde stark in den Kognitionswissenschaften und Machine learning-Gemeinschaften durch Geoffrey Hinton, Terry Sejnowski, und Yann LeCun gefördert, als Teil der breiteren Klasse energiebasierter Modelle, wobei der Hamiltonoperator eines Spinglases als Energiefunktion dient, die die Lernaufgabe definiert.
Boltzmann-Maschinen sind theoretisch bemerkenswert für die Lokalität und Hebbian-Natur ihres Trainingsalgorithmus, der Hebb-Regel folgt, und für ihre Parallelität und Ähnlichkeit zu einfachen physikalischen Prozessen. Allerdings haben Boltzmann-Maschinen mit uneingeschränkter Konnektivität sich nicht als nützlich für praktische Probleme im maschinellen Lernen oder in der Inferenz erwiesen. Wenn die Konnektivität angemessen eingeschränkt ist, wie bei eingeschränkten Boltzmann-Maschinen, wird das Lernen effizient genug für praktische Anwendungen.
Eine Boltzmann-Maschine besteht aus einem Netzwerk binärer Einheiten, wobei jede einen Zustand von entweder 0 oder 1 erzeugt. Das Gesamtnetzwerk hat eine globale Energiefunktion, die in ihrer Form identisch ist mit der von Hopfield-Netzwerken und Ising-Modellen, definiert als:
E = - (summe über i<j von w_ij s_i s_j + summe über i von theta_i * s_i)
Hierbei ist w_ij die Verbindungsstärke zwischen Einheit j und Einheit i, s_i der binäre Zustand von Einheit i,und theta_i die Vorspannung von Einheit i,mit -theta_i als Aktivierungsschwelle. Die Gewichte werden oft als symmetrische Matrix W dargestellt, mit Nullen entlang der Diagonale.
Die Differenz in der globalen Energie, die aus einem einzelnen Einheit i resultiert, das aus versus an ist, bezeichnet als Delta E_i,ist gegeben durch die Summe der Gewichte von verbundenen Einheiten plus der Vorspannung. Diese Energiedifferenz steht in Beziehung zu den Wahrscheinlichkeiten der beiden Zustände durch den Boltzmann-Faktor, wobei die Wahrscheinlichkeit eines Zustands proportional zu exp(-E / (k_B T)) ist,mit k_B als Boltzmann-Konstante und T als künstlichem Temperaturparameter. Diese Beziehung ermöglicht es dem Netzwerk, Einheiten stochastisch zu aktualisieren, wobei Konfigurationen mit niedrigerer Energie bevorzugt werden.
Das Training einer Boltzmann-Maschine zielt darauf ab, die Gewichte und Vorspannungen so anzupassen, dass die Gleichgewichtsverteilung des Netzwerks mit einer Zielverteilung über sichtbaren Einheiten übereinstimmt. Die Lernregel ist lokalund Hebbian:die Änderung eines Gewichts ist proportional zur Differenz zwischen der Korrelation der beiden Einheiten, wenn das Netzwerk an Daten geklemmt istund wenn es frei läuft. Dieses kontrastive Lernverfahren beruht auf dem Sampling aus der Verteilung des Modells, oft unter Verwendung von Markov-Ketten-Monte-Carlo-Methoden. Die Lokalität des Algorithmus macht ihn biologisch plausibel, aber uneingeschränkte Netzwerke leiden unter langsamer Konvergenzund schlechter Skalierbarkeit.
Um die Ineffizienz vollständig verbundener Boltzmann-Maschinen zu beheben, führten Forscher eingeschränkte Boltzmann-Maschinen ( RBMs, ein, die die Konnektivität auf zwei Schichten beschränken - sichtbarund verborgen -mit keinen Intra-Schicht-Verbindungen. Diese Einschränkung ermöglicht ein effizienteres Training unter Verwendung von kontrastiver Divergenz. Gestapelte RBMs bilden die Grundlage tiefer Glaubensnetzwerke, die einflussreich waren in der frühen Entwicklung von Deep learning. Diese Varianten wurden auf Aufgaben wie Dimensionsreduktion, Merkmalslernen,und kollaboratives Filtern angewendet, obwohl sie in vielen Bereichen weitgehend durch andere Architekturen ersetzt wurden.
Die Boltzmann-Maschine trug grundlegende Konzepte zu Generative AIund energiebasierten Modellen bei. Ihre stochastische Dynamikund probabilistische Interpretation beeinflussten spätere Entwicklungen in der neuronalen Netzwerkforschung, einschließlich der Verwendung latenter Variablenund sampling-basierter Inferenz. Obwohl sie nicht weit verbreitet in zeitgenössischen groß angelegten Systemen wie großen Sprachmodellen verwendet wird, bleiben ihre theoretischen Einsichten relevant für das Verständnis probabilistischer grafischer Modelleund unüberwachten Lernens. Der Name des Modells bleibt in der Literatur bestehenals ein kanonisches Beispiel eines stochastischen rekurrenten Netzwerksund eine Brücke zwischen statistischer Physikund Artificial intelligence.