Ein Hopfield-Netzwerk, auch als assoziatives Gedächtnis bekannt, ist eine Form eines rekurrenten neuronalen Netzwerks, das Muster durch einen Prozess der Energieminimierung speichern und abrufen kann. Benannt nach dem Physiker John Hopfield, besteht das Netzwerk aus einer einzelnen Schicht binärer Neuronen, die jeweils mit jedem anderen Neuron verbunden sind, außer mit sich selbst, mit bidirektionalen und symmetrischen Gewichten. Muster werden durch eine Hebb'sche Lernregel gelernt und durch das Festlegen partieller Eingaben abgerufen, woraufhin das Netzwerk dynamisch zu lokalen Energieminima evolviert, die den gespeicherten Mustern entsprechen. Dies macht das Netzwerk robust gegenüber verrauschten oder unvollständigen Daten, da es vollständige Muster aus partiellen Hinweisen rekonstruieren kann.
Die Ursprünge des Netzwerks liegen sowohl in der kognitiven Psychologie als auch in der statistischen Mechanik. In der Psychologie reichen assoziative Gedächtnismodelle bis in die 1950er- und 1960er-Jahre zurück, darunter W. K. Taylors Hebb-trainiertes Modell von 1956, Karl Steinbuchs Lernmatrix (1961) und Teuvo Kohonens assoziatives Gedächtnis mit Gradientenabstieg (1974). In der Physik lieferte das Ising-Modell des Magnetismus, das 1963 von Roy J. Glauber mit zeitabhängiger Dynamik untersucht wurde, eine mathematische Grundlage. Die Idee, ein Ising-artiges System mittels Hebb'scher Lernregel anzupassen, wurde unabhängig von Frank Rosenblatt (1960), Kaoru Nakano (1971), Shun'ichi Amari (1972) und William A. Little (1974) vorgeschlagen. John Hopfields Arbeit von 1982 integrierte diese Ideen mit dem Sherrington-Kirkpatrick-Spinglas-Modell (1975) und etablierte das diskrete Hopfield-Netzwerk; eine Arbeit von 1984 erweiterte es um kontinuierliche Aktivierungsfunktionen.
Struktur und Dynamik
Das Netzwerk umfasst N binäre Schwellwerteinheiten, die Werte von +1 oder -1 annehmen (in manchen Konventionen 0/1). Der Zustand des Netzwerks ist ein Vektor V aus N Bits. Die Verbindungen zwischen verschiedenen Neuronen i und j sind symmetrisch, mit Gewichten w_ij = V_i^s V_j^s für ein gespeichertes Muster V^s, und Selbstverbindungen w_ii = 0. Beim Abruf aktualisiert das Netzwerk die Neuronen asynchron, wobei jedes Neuron feuert, wenn seine gewichtete Eingabe einen Schwellwert überschreitet. Dieser Prozess minimiert eine Energiefunktion und treibt das System zu einem lokalen Minimum, das ein gespeichertes Muster repräsentiert. Die Hebb'sche Lernregel speichert mehrere Muster durch Summation der Beiträge, allerdings ist die Kapazität begrenzt; klassische Hopfield-Netzwerke können etwa 0.14N Muster für N Neuronen speichern.
Anwendungen und Grenzen
Hopfield-Netzwerke wurden in der Physik, Psychologie, Neurowissenschaft und der Maschinenlern-Theorie angewendet. Sie dienen als Modelle des assoziativen Gedächtnisses in der Kognitionswissenschaft und als vereinfachte Modelle neuronaler Dynamik in der statistischen Mechanik. Aufgrund ihrer binären Neuronen, der begrenzten Skalierbarkeit und der Unvereinbarkeit mit gradientenbasiertem Lernen sind sie in der modernen Praxis jedoch selten. Sie werden hauptsächlich als theoretische Werkzeuge oder in spezialisierten Aufgaben wie Optimierung und Mustervervollständigung eingesetzt, nicht jedoch in groß angelegten Anwendungen.
Moderne Entwicklungen
Ein bedeutender Fortschritt gelang 2016, als Dimitry Krotov und Hopfield die Dynamik und Energiefunktion des Netzwerks modifizierten, um die Speicherkapazität zu erhöhen, was zu den heute als Dense Associative Memories oder moderne Hopfield-Netzwerke bezeichneten Modellen führte. Demircigil und Mitarbeiter erweiterten diese Idee 2017, und zwischen 2016 und 2020 wurden kontinuierliche Dynamiken für Modelle mit großer Kapazität entwickelt. Diese modernen Varianten haben Verbindungen zu Transformatoren und großen Sprachmodellen, da deren Aufmerksamkeitsmechanismen als eine Form des assoziativen Gedächtnisabrufs interpretiert werden können.
Vermächtnis
Im Jahr 2024 wurden John J. Hopfield und Geoffrey E. Hinton für ihre grundlegenden Beiträge zum maschinellen Lernen, einschließlich des Hopfield-Netzwerks, mit dem Nobelpreis für Physik ausgezeichnet. Das Netzwerk bleibt ein Eckpfeiler für das Verständnis, wie neuronale Systeme Informationen speichern und abrufen können, und verbindet Physik, Biologie und Informatik. Seine Prinzipien fließen weiterhin in die Forschung zu Deep Learning und generativer KI ein, insbesondere in gedächtniserweiterte Architekturen.