John Hopfield (geboren 1933) ist ein amerikanischer Physiker und Neurowissenschaftler, der 1982 Hopfield-Netze einführte, eine Form von rekurrenten neuronalen Netzen, die eine rigorose Verbindung zwischen statistischer Physik und assoziativem Gedächtnis in neuronalen Systemen herstellte, und der sich 2024 den Nobelpreis für Physik mit Geoffrey Hinton für grundlegende Entdeckungen teilte, die maschinelles Lernen mit künstlichen neuronalen Netzen ermöglichen.
Hintergrund
Als Physiker ausgebildet, mit einer Promotion von der Cornell University, verbrachte Hopfield einen Großteil seiner frühen Karriere mit der Physik von Festkörpern, bevor er sich biologischen und computergestützten Problemen zuwandte und Positionen in Princeton, bei Bell Labs, am Caltech und später erneut in Princeton innehatte. Sein interdisziplinärer Weg von der Kondensiert-Materie-Physik hin zu Neurowissenschaft und Berechnung prägte den unverwechselbaren Ansatz, den er in die Forschung zu neuronalen Netzen einbrachte.
Hopfield-Netze
In einem Artikel von 1982 beschrieb Hopfield eine Art rekurrentes neuronales Netz, das heute als Hopfield-Netz bezeichnet wird, bei dem Neuronen vollständig miteinander verbunden sind und ihre Zustände basierend auf den gewichteten Eingaben aller anderen Neuronen aktualisieren, wobei sie im Laufe der Zeit zu stabilen Mustern, sogenannten „Attraktoren", konvergieren. Hopfield zeigte, dass diese Dynamik mit der Mathematik von Spingläsern aus der statistischen Physik verstanden werden kann, wobei die stabilen Zustände des Netzes lokalen Minima einer Energiefunktion entsprechen. Dies ermöglichte es einem Netz, als inhaltsadressierbares Gedächtnis zu fungieren, das ein vollständig gespeichertes Muster aus einem teilweisen oder verrauschten Hinweis abrufen kann, eine Fähigkeit, die sich von der einfachen Feedforward-Mustererkennung des Perzeptrons unterscheidet. Der von Hopfield eingeführte energiebasierte Rahmen beeinflusste spätere Modellgenerationen, einschließlich der Boltzmann-Maschinen von David Rumelhart und Geoffrey Hinton, und gilt als grundlegender Beitrag zur mathematischen Untersuchung neuronaler Netze und, allgemeiner, zum Deep Learning.
Nobelpreis für Physik 2024
Im Oktober 2024 wurden Hopfield und Geoffrey Hinton gemeinsam mit dem Nobelpreis für Physik ausgezeichnet „für grundlegende Entdeckungen und Erfindungen, die maschinelles Lernen mit künstlichen neuronalen Netzen ermöglichen", Teil der breiteren Welle der Nobel-Anerkennung für KI-Forschung 2024, die auch Demis Hassabis und Mitarbeitern den Chemiepreis für AlphaFold einbrachte. Das Physikkomitee führte Hopfields Nutzung von Werkzeugen der statistischen Physik zur Modellierung des assoziativen Gedächtnisses an sowie Hintons Erweiterung dieser Ideen auf die Boltzmann-Maschine und anschließende mit Backpropagation trainierte Netze. Die Auszeichnung löste innerhalb der Physikgemeinschaft einige Debatten darüber aus, ob die Forschung zu neuronalen Netzen im traditionellen Sinne Physik darstelle, obwohl das Komitee die Ehrung um die physikalischen Methoden, die Hopfield einsetzte, und nicht um das Anwendungsfeld rahmte.
Vermächtnis
Hopfield-Netze gelten als eine der grundlegenden Architekturen des modernen Deep Learning, und die von ihnen eingeführte energiebasierte Perspektive bleibt ein aktives Forschungsgebiet, einschließlich moderner Varianten, die manchmal als „moderne Hopfield-Netze" bezeichnet werden und mathematisch mit den Aufmerksamkeitsmechanismen in der Transformer-Architektur verbunden wurden, die heutigen großen Sprachmodellen zugrunde liegt. Hopfields Karriere, die Physik und Berechnung überbrückt, veranschaulicht die interdisziplinären Ursprünge eines Großteils der zeitgenössischen Forschung zu künstlicher Intelligenz.