John Hopfield (né en 1933) est un physicien et neuroscientifique américain qui a introduit les réseaux de Hopfield en 1982, une forme de réseau neuronal récurrent qui a établi un lien rigoureux entre la physique statistique et la mémoire associative dans les systèmes neuronaux, et qui a partagé le prix Nobel de physique 2024 avec Geoffrey Hinton pour des découvertes fondamentales permettant l'apprentissage automatique avec des réseaux de neurones artificiels.
Contexte
Formé comme physicien, titulaire d'un doctorat de l'université Cornell, Hopfield a passé une grande partie de sa carrière initiale à travailler sur la physique des solides avant de se tourner vers des problèmes biologiques et computationnels, occupant des postes à Princeton, aux Bell Labs, à Caltech, puis de nouveau à Princeton. Son parcours interdisciplinaire, de la physique de la matière condensée aux neurosciences et au calcul, a façonné l'approche distinctive qu'il a apportée à la recherche sur les réseaux de neurones.
Réseaux de Hopfield
Dans un article de 1982, Hopfield a décrit un type de réseau neuronal récurrent, désormais appelé réseau de Hopfield, dans lequel les neurones sont entièrement connectés les uns aux autres et mettent à jour leurs états en fonction des entrées pondérées de tous les autres neurones, convergeant au fil du temps vers des motifs stables, ou « attracteurs ». Hopfield a montré que cette dynamique pouvait être comprise à l'aide des mathématiques des verres de spin issues de la physique statistique, où les états stables du réseau correspondent à des minima locaux d'une fonction d'énergie. Cela permettait à un réseau de fonctionner comme une mémoire adressable par contenu, capable de rappeler un motif stocké complet à partir d'un indice partiel ou bruité, une capacité distincte de la simple reconnaissance de motifs par propagation avant du perceptron. Le cadre basé sur l'énergie introduit par Hopfield a influencé les générations ultérieures de modèles, y compris les machines de Boltzmann de David Rumelhart et Geoffrey Hinton, et est considéré comme une contribution fondatrice à l'étude mathématique des réseaux de neurones et, plus largement, du apprentissage profond.
Prix Nobel de physique 2024
En octobre 2024, Hopfield et Geoffrey Hinton ont reçu conjointement le prix Nobel de physique « pour des découvertes et inventions fondamentales permettant l'apprentissage automatique avec des réseaux de neurones artificiels », dans le cadre de la vague plus large de reconnaissance Nobel pour la recherche en IA en 2024 qui a également vu Demis Hassabis et ses collaborateurs remporter le prix de chimie pour AlphaFold. Le comité du prix de physique a cité l'utilisation par Hopfield d'outils de physique statistique pour modéliser la mémoire associative, et l'extension par Hinton de ces idées dans la machine de Boltzmann et les réseaux ultérieurs entraînés par rétropropagation. Ce prix a suscité un débat au sein de la communauté des physiciens sur la question de savoir si la recherche sur les réseaux de neurones constituait de la physique au sens traditionnel, bien que le comité ait encadré la distinction autour des méthodes physiques employées par Hopfield plutôt que du domaine d'application.
Héritage
Les réseaux de Hopfield sont considérés comme l'une des architectures fondatrices de l'apprentissage profond moderne, et la perspective basée sur l'énergie qu'ils ont introduite reste un domaine de recherche actif, y compris des variantes modernes parfois appelées « réseaux de Hopfield modernes » qui ont été liées mathématiquement aux mécanismes d'attention utilisés dans l'architecture transformeur sous-jacente aux grands modèles de langage actuels. La carrière de Hopfield, reliant la physique et le calcul, illustre les origines interdisciplinaires d'une grande partie de la recherche contemporaine en intelligence artificielle.