Tiefes Überzeugungsnetzwerk

Ein Deep Belief Network (DBN) ist ein generatives grafisches Modell oder alternativ eine Klasse von tiefen neuronalen Netzwerken, das aus mehreren Schichten latenter Variablen („versteckten Einheiten“) besteht, mit Verbindungen zwischen den Schichten, aber nicht zwischen den Einheiten innerhalb jeder Schicht. Wenn ein DBN ohne Überwachung anhand einer Reihe von Beispielen trainiert wird, kann es lernen, seine Eingaben probabilistisch zu rekonstruieren, wobei die Schichten als Merkmalsdetektoren fungieren. Nach diesem Lernschritt kann ein DBN weiter mit Überwachung trainiert werden, um Klassifikation durchzuführen.

DBNs können als eine Zusammensetzung einfacher, unüberwachter Netzwerke wie Restricted Boltzmann Machines (RBMs) oder Autoencoder betrachtet werden, wobei die verborgene Schicht jedes Teilnetzwerks als sichtbare Schicht für das nächste dient. Eine RBM ist ein ungerichtetes, generatives energiebasiertes Modell mit einer sichtbaren Eingabeschicht und einer verborgenen Schicht, mit Verbindungen zwischen, aber nicht innerhalb der Schichten. Diese Zusammensetzung führt zu einem schnellen, schichtweisen unüberwachten Trainingsverfahren, bei dem kontrastive Divergenz nacheinander auf jedes Teilnetzwerk angewendet wird, beginnend mit dem niedrigsten Paar von Schichten (die niedrigste sichtbare Schicht ist ein Trainingssatz).

Die Beobachtung, dass DBNs gierig, eine Schicht nach der anderen, trainiert werden können, führte zu einem der ersten effektiven Deep-Learning-Algorithmen. Insgesamt gibt es viele attraktive Implementierungen und Anwendungen von DBNs in realen Anwendungen und Szenarien, wie etwa Elektroenzephalographie und Wirkstoffforschung.

Historischer Kontext

Deep Belief Networks entstanden Mitte der 2000er Jahre als Durchbruch beim Training tiefer Architekturen. Vor ihrer Einführung war das Training mehrschichtiger neuronaler Netzwerke bekanntermaßen schwierig, aufgrund von Problemen wie verschwindenden Gradienten und langsamer Konvergenz. Die mit DBNs eingeführte gierige schichtweise Vortrainingsstrategie bot einen praktischen Weg, tiefe Netzwerke zu initialisieren, die dann für überwachte Aufgaben feinabgestimmt werden konnten. Diese Arbeit, die hauptsächlich mit Geoffrey Hinton und Kollegen an der University of Toronto verbunden ist, belebte das Interesse an Deep learning neu und legte das Fundament für spätere Fortschritte bei Neural network-Architekturen.

Die Entwicklung von DBNs wird oft als wichtiger Meilenstein in der Geschichte der Artificial intelligence genannt, der frühere Arbeiten zu probabilistischen Modellen und Machine learning mit modernem Deep Learning verbindet. Der Erfolg von DBNs bei Aufgaben wie der Erkennung handgeschriebener Ziffern und der Dokumentklassifikation demonstrierte die Leistungsfähigkeit hierarchischen Merkmalslernens und beeinflusste nachfolgende Modelle wie tiefe Autoencoder und convolutional networks.

Training mit Contrastive Divergence

Die Trainingsmethode für RBMs, die Geoffrey Hinton für das Training von „Product of Experts“-Modellen vorschlug, wird als Contrastive Divergence (CD) bezeichnet. CD bietet eine Näherung an die Maximum-Likelihood-Methode, die idealerweise zum Lernen der Gewichte angewendet würde. Beim Training einer einzelnen RBM werden Gewichtsaktualisierungen mit Gradientenabstieg unter Verwendung der Gleichung durchgeführt:

w_ij(t+1) = w_ij(t) + η * ∂log(p(v))/∂w_ij

wobei p(v) die Wahrscheinlichkeit eines sichtbaren Vektors ist, gegeben durch p(v) = (1/Z) * Σ_h e^(-E(v,h)), mit Z als Partitionsfunktion zur Normalisierung und E(v,h) als Energiefunktion, die dem Zustand des Netzwerks zugewiesen wird. Eine niedrigere Energie zeigt eine „wünschenswertere“ Konfiguration an. Der Gradient ∂log(p(v))/∂w_ij hat die einfache Form ⟨v_i h_j⟩_data - ⟨v_i h_j⟩_model, wobei ⟨...⟩_p Mittelwerte bezüglich der Verteilung p darstellt.

Die Herausforderung ergibt sich beim Stichprobenziehen von ⟨v_i h_j⟩_model, da dies eine verlängerte alternierende Gibbs-Stichprobenziehung erfordert. CD ersetzt diesen Schritt, indem eine alternierende Gibbs-Stichprobenziehung für n Schritte durchgeführt wird (Werte von n=1 funktionieren gut). Nach n Schritten werden die Daten abgetastet, und diese Stichprobe wird anstelle von ⟨v_i h_j⟩_model verwendet. Das CD-Verfahren funktioniert wie folgt:

1. Initialisieren Sie die sichtbaren Einheiten mit einem Trainingsvektor.
2. Aktualisieren Sie die verborgenen Einheiten parallel, gegeben die sichtbaren Einheiten: p(h_j=1|V) = σ(b_j + Σ_i v_i w_ij), wobei σ die Sigmoidfunktion und b_j die Voreinstellung der verborgenen Einheit j ist.
3. Rekonstruieren Sie die sichtbaren Einheiten aus den verborgenen Einheiten, und aktualisieren Sie dann die verborgenen Einheiten erneut basierend auf der Rekonstruktion.
4. Führen Sie die Gewichtsaktualisierung unter Verwendung der Differenz zwischen den ursprünglichen und rekonstruierten Korrelationen durch.

Dieses Verfahren wird gierig, Schicht für Schicht, angewendet, um ein DBN zu trainieren. Nach dem Vortraining kann das gesamte Netzwerk mit Backpropagation oder anderen überwachten Methoden feinabgestimmt werden.

Anwendungen und Auswirkungen

Deep Belief Networks wurden in verschiedenen Bereichen angewendet. Im Gesundheitswesen wurden DBNs zur Analyse von Elektroenzephalographie-Signalen (EEG) verwendet, um bei der Erkennung neurologischer Erkrankungen zu helfen. In der Wirkstoffforschung wurden sie eingesetzt, um molekulare Eigenschaften vorherzusagen und potenzielle Arzneimittelkandidaten zu identifizieren, wobei ihre Fähigkeit genutzt wird, aus chemischen Daten hierarchische Merkmale zu lernen.

DBNs fanden auch Verwendung in der Spracherkennung, wo sie als akustische Modelle dienten, und in Bilderkennungsaufgaben, bei denen sie Merkmale aus Rohpixeln lernten. Ihr Erfolg in diesen Bereichen demonstrierte die Vielseitigkeit des generativen Vortrainings und beeinflusste spätere Modelle wie Generative AI und großskalige Modelle.

Trotz der Tatsache, dass sie von Transformer (architecture)-Modellen überholt wurden, bleiben DBNs ein wichtiges pädagogisches Werkzeug zum Verständnis von Deep-Learning-Prinzipien. Sie werden oft in Kursen zu Machine learning und Deep learning als grundlegendes Beispiel für unüberwachtes Vortraining und hierarchisches Merkmalslernen studiert.

Einschränkungen und weiterführende Literatur

DBNs haben mehrere Einschränkungen. Das Training kann für große Datensätze rechenintensiv sein, und die Contrastive-Divergence-Näherung kann zu verzerrten Schätzungen führen. Darüber hinaus sind sie als generative Modelle weniger skalierbar als bestimmte diskriminative Ansätze. Die Entwicklung von Transformer (architecture)-basierten Modellen hat DBNs in vielen Anwendungen in den Hintergrund gedrängt, da diese oft bessere Leistungen bei großen Datensätzen erzielen.

Dennoch bleiben die Prinzipien hinter DBNs - wie hierarchisches Lernen und energiebasierte Modellierung - in der modernen Forschung relevant. Für weitere Informationen bieten die ursprünglichen Arbeiten von Hinton und seinen Mitarbeitern detaillierte Ableitungen und experimentelle Ergebnisse. Lehrbücher über Deep learning enthalten oft Kapitel über DBNs und RBMs, die sowohl theoretische als auch praktische Perspektiven bieten. Während sich das Feld weiterentwickelt, bleiben die aus DBNs gewonnenen Erkenntnisse relevant, insbesondere in Bereichen wie unüberwachtes Lernen und generative Modellierung.