L'apprentissage hebbien contrastif (CHL) est une règle d'apprentissage pour les réseaux de neurones qui met à jour les poids synaptiques en comparant l'activité du réseau dans deux phases distinctes : une phase libre et une phase contrainte. Contrairement à la rétropropagation standard de l'erreur, qui nécessite une passe avant et une passe arrière séparées avec des signaux d'erreur explicites, le CHL repose sur des mises à jour locales, de type hebbien, qui utilisent la différence entre les corrélations des activations neuronales dans les deux phases. Cela en fait un candidat pour un apprentissage biologiquement plausible dans le cerveau et un algorithme fondateur pour les modèles basés sur l'énergie, tels que la machine de Boltzmann et ses variantes.
La règle a été développée dans les années 1980 et 1990, avec des contributions significatives de chercheurs comme Paul Werbos, qui avait précédemment formulé la rétropropagation, et Geoffrey Hinton, qui a exploré l'apprentissage contrastif dans le contexte des machines de Boltzmann. L'idée centrale est qu'un réseau peut apprendre en se stabilisant d'abord dans un état qui reflète son entrée (la phase libre), puis en étant contraint à une sortie cible (la phase contrainte), et enfin en ajustant les poids pour réduire l'écart entre ces deux états. Ce processus minimise une fonction d'énergie, conduisant le réseau vers une configuration où l'état contraint est un attracteur de basse énergie.
Mécanisme et formulation mathématique
Dans une implémentation typique du CHL, le réseau est une architecture récurrente ou à propagation avant avec des unités visibles (entrée et sortie) et des unités cachées. Pendant la phase libre, le réseau reçoit une entrée, et les activations se propagent à travers le réseau jusqu'à atteindre un état stable, souvent via un processus de stabilisation itératif. Dans la phase contrainte, les unités de sortie sont fixées aux valeurs cibles souhaitées, et le réseau se stabilise à nouveau vers un nouvel équilibre. La mise à jour des poids pour chaque connexion est alors donnée par la différence entre le produit des activations dans la phase contrainte et le produit dans la phase libre, mise à l'échelle par un taux d'apprentissage.
Mathématiquement, pour un poids \(w_{ij}\) reliant l'unité \(i\) à l'unité \(j\), la mise à jour est \(\Delta w_{ij} = \eta (x_i^+ x_j^+ - x_i^- x_j^-)\), où \(x^+\) désigne les activations dans la phase contrainte, \(x^-\) désigne les activations dans la phase libre, et \(\eta\) est le taux d'apprentissage. Cette règle est une forme de divergence contrastive, un concept formalisé plus tard par Hinton en 2002 pour entraîner les machines de Boltzmann restreintes. La mise à jour est locale dans le sens où elle ne nécessite que des informations disponibles au niveau des neurones pré- et post-synaptiques, ce qui s'aligne sur le postulat de Hebb selon lequel « les neurones qui s'activent ensemble se connectent ensemble », mais avec une soustraction cruciale qui empêche une croissance illimitée des poids.
Relation avec la rétropropagation
Le CHL est souvent contrasté avec l'algorithme de rétropropagation, qui domine le apprentissage profond moderne. La rétropropagation calcule des gradients exacts d'une fonction de perte en utilisant la règle de dérivation en chaîne, nécessitant un signal d'erreur global propagé en arrière à travers le réseau. Cela est efficace sur le plan computationnel mais biologiquement improbable, car cela exige une signalisation précise et synchronisée ainsi qu'un transport des poids. Le CHL, en revanche, utilise uniquement des informations locales et peut être implémenté dans des systèmes dynamiques en temps continu, ce qui le rend plus plausible comme modèle d'apprentissage cortical.
Des études empiriques ont montré que le CHL peut approximer la rétropropagation dans certaines architectures, en particulier dans les réseaux à propagation avant avec des poids symétriques. Dans la limite de petits taux d'apprentissage et d'un temps de stabilisation suffisant, la mise à jour CHL se rapproche du gradient d'une perte d'erreur quadratique. Cependant, le CHL est généralement plus lent à converger et moins évolutif pour les réseaux très profonds, ce qui explique pourquoi il n'a pas remplacé la rétropropagation dans des applications pratiques comme les grands modèles de langage ou les transformeurs.
Applications et variantes
Le CHL a été appliqué à une gamme de problèmes, notamment la mémoire associative, la complétion de motifs et la classification supervisée. C'est la règle d'apprentissage sous-jacente à la machine de Boltzmann, un réseau récurrent stochastique influent dans les années 1980 mais tombé en désuétude en raison de son coût computationnel. Des variantes telles que la règle d'apprentissage hebbien contrastif de champ moyen ont été développées pour gérer les réseaux déterministes, et l'idée a été étendue aux réseaux de neurones à impulsions, où elle est utilisée pour entraîner des réseaux de neurones intégrateur-et-déclencheur.
Dans les années 2010 et 2020, l'intérêt pour le CHL a été ravivé dans le cadre de la recherche d'alternatives biologiquement plausibles à la rétropropagation. Des chercheurs d'institutions comme le MIT CSAIL et le Stanford AI Lab ont exploré des approches hybrides combinant le CHL avec des règles d'apprentissage locales pour entraîner des réseaux profonds sans signaux d'erreur globaux. Ces efforts sont motivés par l'objectif de comprendre l'apprentissage cortical et de construire du matériel neuromorphique économe en énergie.
Limites et défis
Une limite majeure du CHL est son coût computationnel. Le processus de stabilisation nécessite plusieurs itérations pour atteindre l'équilibre, et la procédure en deux phases double le temps d'inférence par rapport à une seule passe avant. Pour les grands réseaux, cela devient prohibitif. De plus, le CHL est sensible au choix de la dynamique de stabilisation et du taux d'apprentissage ; de mauvais choix peuvent entraîner des oscillations ou une convergence lente. L'exigence de poids symétriques, nécessaire pour que la fonction d'énergie soit bien définie, est une autre contrainte qui ne tient pas dans la plupart des circuits biologiques.
Un autre défi est que le CHL ne gère pas naturellement les activations non différentiables ou les unités stochastiques sans approximations supplémentaires. Bien que la divergence contrastive fournisse une approximation pratique pour les machines de Boltzmann restreintes, elle n'est pas garantie de converger vers le gradient véritable, et ses performances se dégradent dans les architectures plus profondes. Ces problèmes ont limité l'adoption du CHL dans le apprentissage automatique mainstream, où la rétropropagation reste la norme.
Héritage et recherche actuelle
Malgré ses limites, le CHL a laissé un impact durable sur le domaine. Il a fourni une base théorique pour les modèles basés sur l'énergie et a influencé le développement de méthodes contrastives en apprentissage non supervisé, telles que le codage prédictif contrastif et SimCLR. Le concept de comparaison des états libres et contraints sous-tend également des techniques modernes comme la propagation à l'équilibre, introduite par Scellier et Bengio en 2017, qui utilise une approche en deux phases similaire pour approximer les gradients dans les réseaux récurrents.
La recherche actuelle sur le CHL se concentre sur le rendre plus évolutif et robuste. Par exemple, des travaux récents ont exploré l'utilisation du CHL dans les réseaux de neurones à impulsions pour l'informatique en périphérie, où les règles d'apprentissage locales sont essentielles en raison des contraintes matérielles. D'autres efforts étudient la combinaison du CHL avec le dropout et la normalisation par lots pour améliorer la généralisation. Bien qu'il soit peu probable qu'il remplace la rétropropagation à court terme, le CHL reste un domaine d'étude dynamique pour ceux qui s'intéressent à l'intersection des neurosciences et de l'intelligence artificielle.