Un réseau de Hopfield, également connu sous le nom de mémoire associative, est une forme de réseau de neurones récurrent capable de stocker et de récupérer des motifs grâce à un processus de minimisation d'énergie. Nommé d'après le physicien John Hopfield, le réseau se compose d'une seule couche de neurones binaires, chacun connecté à tous les autres neurones sauf lui-même, avec des poids bidirectionnels et symétriques. Les motifs sont appris via une règle d'apprentissage hebbienne et rappelés en fixant des entrées partielles, puis en laissant le réseau évoluer dynamiquement vers des minima d'énergie locaux correspondant aux motifs stockés. Cela rend le réseau robuste aux données bruitées ou incomplètes, car il peut récupérer des motifs complets à partir d'indices partiels.
Les origines du réseau résident à la fois dans la psychologie cognitive et la mécanique statistique. En psychologie, les modèles de mémoire associative remontent aux années 1950 et 1960, notamment le modèle entraîné par Hebb de W. K. Taylor en 1956, la Lernmatrix de Karl Steinbuch (1961) et la mémoire associative par descente de gradient de Teuvo Kohonen (1974). En physique, le modèle d'Ising du magnétisme, étudié par Roy J. Glauber en 1963 avec une dynamique dépendante du temps, a fourni une base mathématique. L'idée d'adapter un système de type Ising via l'apprentissage hebbien a été proposée indépendamment par Frank Rosenblatt (1960), Kaoru Nakano (1971), Shun'ichi Amari (1972) et William A. Little (1974). L'article de John Hopfield de 1982 a intégré ces idées avec le modèle de verre de spin de Sherrington–Kirkpatrick (1975), établissant le réseau de Hopfield discret ; un article de 1984 l'a étendu à des fonctions d'activation continues.
Structure et dynamique
Le réseau comprend N unités de seuil binaires, chacune prenant des valeurs de +1 ou -1 (ou 0/1 dans certaines conventions). L'état du réseau est un vecteur V de N bits. Les connexions entre neurones distincts i et j sont symétriques, avec un poids w_ij = V_i^s V_j^s pour un motif stocké V^s, et les auto-connexions w_ii = 0. Lors du rappel, le réseau met à jour les neurones de manière asynchrone, chaque neurone s'activant si son entrée pondérée dépasse un seuil. Ce processus minimise une fonction d'énergie, conduisant le système à un minimum local représentant un motif stocké. La règle d'apprentissage hebbienne stocke plusieurs motifs en sommant les contributions, bien que la capacité soit limitée ; les réseaux de Hopfield classiques peuvent stocker environ 0,14N motifs pour N neurones.
Applications et limites
Les réseaux de Hopfield ont été appliqués en physique, psychologie, neurosciences et théorie de l'apprentissage automatique. Ils servent de modèles de mémoire associative en science cognitive et de modèles simplifiés de dynamique neuronale en mécanique statistique. Cependant, leurs neurones binaires, leur évolutivité limitée et leur incompatibilité avec l'apprentissage par gradient les rendent rares dans la pratique moderne. Ils sont principalement utilisés comme outils théoriques ou dans des tâches spécialisées comme l'optimisation et la complétion de motifs, plutôt que dans des applications à grande échelle.
Développements modernes
Une avancée majeure est survenue en 2016 lorsque Dimitry Krotov et Hopfield ont modifié la dynamique et la fonction d'énergie du réseau pour augmenter la capacité de stockage, conduisant à ce qu'on appelle désormais les mémoires associatives denses ou réseaux de Hopfield modernes. Demircigil et ses collaborateurs ont étendu cette idée en 2017, et des dynamiques continues pour des modèles à grande capacité ont été développées dans une série d'articles entre 2016 et 2020. Ces variantes modernes ont des connexions avec les transformeurs et les grands modèles de langage, car leurs mécanismes d'attention peuvent être interprétés comme une forme de récupération de mémoire associative.
Héritage
En 2024, John J. Hopfield et Geoffrey E. Hinton ont reçu le prix Nobel de physique pour leurs contributions fondamentales à l'apprentissage automatique, y compris le réseau de Hopfield. Le réseau reste une pierre angulaire pour comprendre comment les systèmes neuronaux peuvent stocker et récupérer des informations, reliant physique, biologie et calcul. Ses principes continuent d'informer la recherche en apprentissage profond et en IA générative, en particulier dans les architectures augmentées par la mémoire.