Der Generalisierte Hebb-Algorithmus (GHA) ist eine unüberwachte Lernregel für künstliche neuronale Netze, die eine Hauptkomponentenanalyse (PCA) durchführt. Er wurde 1989 von Terence D. Sanger als Erweiterung der Oja-Regel eingeführt, die nur die erste Hauptkomponente extrahiert. GHA ermöglicht es einem einschichtigen linearen neuronalen Netz, die ersten k Hauptkomponenten der Eingabedatenverteilung sequenziell zu lernen, was ihn zu einer grundlegenden Methode für die dimensionsreduktion und Merkmalsextraktion auf Basis neuronaler Netze macht.
Im Gegensatz zu überwachten Lernmethoden, die beschriftete Daten benötigen, arbeitet GHA rein auf Basis der Eingabestatistik. Er folgt einer Hebb-inspirierten Aktualisierungsregel, bei der synaptische Gewichte gestärkt werden, wenn prä- und postsynaptische Aktivierungen korreliert sind, jedoch mit einem entscheidenden Schritt der Normalisierung und Dekorrelation. Diese Dekorrelation, die über einen Gram-Schmidt-ähnlichen Prozess implementiert wird, stellt sicher, dass jedes Ausgabeneuron eine eigene Hauptkomponente lernt, geordnet nach abnehmender Varianz.
Mathematische Formulierung
Für einen Eingabevektor x ∈ ℝⁿ und einen Ausgabevektor y ∈ ℝᵏ berechnet das Netz y = W x, wobei W eine k×n-Gewichtsmatrix ist. Die GHA-Aktualisierungsregel für jedes Gewicht wᵢⱼ (das Eingabe j mit Ausgabe i verbindet) lautet:
Δwᵢⱼ = η yᵢ ( xⱼ - Σ_{p=1}^{i} wₚⱼ yₚ )
Hierbei ist η die Lernrate, und die Summation über p von 1 bis i führt eine sequenzielle Orthogonalisierung durch. Für das erste Ausgabeneuron (i=1) reduziert sich die Regel auf die Oja-Regel: Δw₁ⱼ = η y₁ (xⱼ - w₁ⱼ y₁). Für nachfolgende Neuronen subtrahiert der Term die Projektionen der Eingabe auf die bereits gelernten Gewichtsvektoren, wodurch das neue Neuron gezwungen wird, Varianz orthogonal zu früheren Komponenten zu erfassen.
Diese Aktualisierung kann als stochastischer Gradientenanstieg auf der durch jede Ausgabe erklärten Varianz interpretiert werden, unter Orthonormalitätsbeschränkungen. Unter milden Bedingungen an die Lernrate (z. B. Abnahme gegen Null) konvergieren die Gewichtsvektoren zu den Eigenvektoren der Kovarianzmatrix der Eingabe, geordnet nach abnehmendem Eigenwert.
Beziehung zur Oja-Regel und PCA
Die Oja-Regel, vorgeschlagen von Erkki Oja im Jahr 1982, ist eine Einzelneuron-Hebb-Regel, die den Gewichtsvektor auf Einheitslänge normalisiert und dazu führt, dass er zur ersten Hauptkomponente konvergiert. GHA verallgemeinert dies durch eine Kaskade von Neuronen, wobei die Aktualisierung jedes Neurons eine Subtraktion der Beiträge aller vorherigen Neuronen umfasst. Dies ist analog zum Gram-Schmidt-Orthogonalisierungsverfahren, wird jedoch online und stochastisch durchgeführt.
Im Vergleich zu Batch-PCA-Algorithmen (z. B. Eigenwertzerlegung) ist GHA vollständig inkrementell und kann Datenströme Probe für Probe verarbeiten. Es erfordert nicht die Speicherung der gesamten Kovarianzmatrix, was es speichereffizient für hochdimensionale Daten macht. Allerdings konvergiert es langsamer als Batch-Methoden und ist empfindlich gegenüber dem Zeitplan der Lernrate.
Anwendungen und Bedeutung
GHA wurde in verschiedenen Bereichen angewendet, darunter Bildkompression, Signalverarbeitung und Mustererkennung. In den 1990er Jahren wurde es zur Merkmalsextraktion bei der Erkennung handgeschriebener Ziffern und zur Dimensionsreduktion bei Radar- und Sonardaten verwendet. Seine Online-Natur machte es attraktiv für Echtzeitsysteme wie adaptive Filter und Robotik.
Im Kontext der maschinellen Lernens- und neuronalen Netze-Forschung trug GHA zum theoretischen Verständnis von Hebb-Lernen und Selbstorganisation bei. Es zeigte, dass einfache lokale Lernregeln globale statistische Eigenschaften erreichen können, ein Thema, das spätere Arbeiten zu tiefem Lernen und unüberwachter Repräsentationslernung beeinflusste. Obwohl moderne tiefe Netze oft Backpropagation und Adam-Optimierer verwenden, bleibt GHA ein klassisches Beispiel für biologisch plausibles Lernen.
Einschränkungen und moderner Kontext
GHA nimmt ein lineares Netz und gaußähnliche Eingabestatistiken an, was seine Fähigkeit zur Erfassung nichtlinearer Strukturen einschränkt. Erweiterungen wie nichtlineare PCA und kernelbasierte Methoden adressieren dies, verlieren jedoch die einfache Hebb-Form. Zusätzlich erfordert GHA eine sorgfältige Abstimmung der Lernrate; eine zu hohe Rate führt zu Divergenz, eine zu niedrige verlangsamt die Konvergenz. Die sequenzielle Natur bedeutet auch, dass Fehler in frühen Komponenten auf spätere übertragen werden.
Mit dem Aufstieg von tiefem Lernen und Transformer-Architekturen wird GHA in modernsten Systemen selten verwendet. Es bleibt jedoch ein pädagogischer Eckpfeiler in Kursen zu neuronaler Berechnung und künstlicher Intelligenz. Seine Prinzipien der Dekorrelation und Varianzmaximierung liegen fortgeschritteneren Techniken wie Batch-Normalisierung und Schichtnormalisierung zugrunde, die ebenfalls darauf abzielen, Aktivierungen zu stabilisieren und zu dekorrelieren.
Siehe auch
- Oja-Regel (nicht in Liste, aber konzeptionell verbunden)
- Hauptkomponentenanalyse (nicht in Liste)
- unüberwachtes Lernen (nicht in Liste)
- neuronales Netz
- maschinelles Lernen
Referenzen
- Sanger, T. D. (1989). "Optimal unsupervised learning in a single-layer linear feedforward neural network." Neural Networks, 2(6), 459-473.
- Oja, E. (1982). "Simplified neuron model as a principal component analyzer." Journal of Mathematical Biology, 15(3), 267-273.