Le connexionnisme est une approche de l'étude des processus mentaux humains et de la cognition qui utilise des modèles mathématiques connus sous le nom de réseaux connexionnistes ou réseaux de neurones artificiels. Le principe central soutient que les phénomènes mentaux peuvent être décrits par des réseaux interconnectés d'unités simples et souvent uniformes, où la forme des connexions et des unités peut varier d'un modèle à l'autre. Par exemple, les unités du réseau pourraient représenter des neurones et les connexions des synapses, comme dans le cerveau humain. Cette approche a été considérée comme une alternative aux théories classiques de l'esprit basées sur le calcul symbolique, souvent appelées bonne vieille IA (GOFAI), bien que la mesure dans laquelle les deux approches sont compatibles ait été débattue depuis leur création.
Le connexionnisme a connu plusieurs vagues distinctes de développement depuis ses débuts. La première vague a émergé en 1943 avec les travaux de Warren Sturgis McCulloch et Walter Pitts, qui se sont concentrés sur la compréhension des circuits neuronaux à travers une approche formelle et mathématique. La deuxième vague a fleuri à la fin des années 1980 avec l'introduction des couches cachées et des fonctions d'activation sigmoïdes. La troisième vague actuelle a été marquée par des avancées dans le apprentissage profond, qui ont rendu possible la création de grands modèles de langage. Le succès des réseaux d'apprentissage profond au cours des dernières décennies a considérablement accru la popularité de cette approche, mais la complexité et l'échelle de ces réseaux ont entraîné des problèmes accrus d'interprétabilité.
Principe de base
Le principe connexionniste central est que les phénomènes mentaux peuvent être décrits par des réseaux interconnectés d'unités simples et souvent uniformes. La forme des connexions et des unités peut varier d'un modèle à l'autre. Par exemple, les unités du réseau pourraient représenter des neurones et les connexions des synapses, comme dans le cerveau humain. Ce principe a été considéré comme une alternative à la GOFAI et aux théories classiques de l'esprit basées sur le calcul symbolique, mais la mesure dans laquelle les deux approches sont compatibles a fait l'objet de nombreux débats depuis leur création.
Les réseaux de neurones suivent deux principes de base. Tout état mental peut être décrit comme un vecteur à n dimensions de valeurs d'activation numériques sur les unités neuronales d'un réseau. La mémoire et l'apprentissage sont créés en modifiant les poids des connexions entre les unités neuronales, généralement représentés sous forme d'une matrice n×m. Les poids sont ajustés selon une règle ou un algorithme d'apprentissage, comme l'apprentissage hebbien.
La plupart de la variété parmi les modèles connexionnistes provient de trois sources. L'interprétation des unités peut varier, les unités étant interprétées comme des neurones ou des groupes de neurones. La définition de l'activation peut différer ; par exemple, dans une machine de Boltzmann, l'activation est interprétée comme la probabilité de générer un potentiel d'action et est déterminée via une fonction logistique sur la somme des entrées d'une unité. L'algorithme d'apprentissage varie également, tout changement mathématiquement défini des poids de connexion au fil du temps étant appelé algorithme d'apprentissage.
Activation et apprentissage
Les états internes de tout réseau changent au fil du temps en raison des neurones envoyant un signal à une couche successive de neurones dans le cas d'un réseau feedforward, ou à une couche précédente dans le cas d'un réseau récurrent. La découverte des fonctions d'activation non linéaires a permis la deuxième vague du connexionnisme. Les réseaux modernes utilisent couramment des fonctions telles que la sigmoïde, ReLU, ou des variantes de celles-ci, qui permettent aux réseaux de modéliser des relations non linéaires complexes.
L'apprentissage dans les réseaux connexionnistes implique généralement d'ajuster les poids de connexion selon une règle d'apprentissage. La plus influente de celles-ci a été la rétropropagation, qui calcule les gradients d'erreur par rapport aux poids et les met à jour en conséquence. Les techniques d'optimisation telles que l'optimiseur Adam et d'autres variantes de SGD sont devenues standard dans l'entraînement des réseaux profonds. D'autres techniques comme le dropout, la normalisation par lots et la normalisation de couche aident à stabiliser et à régulariser l'entraînement.
Réalisme biologique
Le travail connexionniste en général n'a pas besoin d'être biologiquement réaliste. Un domaine où les modèles connexionnistes sont considérés comme biologiquement invraisemblables concerne les réseaux de propagation d'erreur nécessaires pour soutenir l'apprentissage. Cependant, la propagation d'erreur peut expliquer une partie de l'activité électrique générée biologiquement observée au niveau du cuir chevelu dans les potentiels liés aux événements tels que la N400 et la P600, fournissant un certain soutien biologique pour l'une des hypothèses clés des procédures d'apprentissage connexionnistes.
De nombreux modèles connexionnistes récurrents intègrent également la théorie des systèmes dynamiques. De nombreux chercheurs, comme le connexionniste Paul Smolensky, ont soutenu que les modèles connexionnistes évolueront vers des approches entièrement continues, à haute dimension, non linéaires et dynamiques. Le domaine de la recherche sur les réseaux de neurones continue de s'inspirer des neurosciences tout en poursuivant des objectifs d'ingénierie.
Précurseurs
Les précurseurs des principes connexionnistes peuvent être retracés dans les premiers travaux en psychologie, comme ceux de William James. Les théories psychologiques basées sur la connaissance du cerveau humain étaient à la mode à la fin du XIXe siècle. Dès 1869, le neurologue John Hughlings Jackson a plaidé pour des systèmes distribués à plusieurs niveaux. Suite à cette piste, les Principes de psychologie de Herbert Spencer, 3e édition (1872), et le Projet pour une psychologie scientifique de Sigmund Freud (composé en 1895) ont proposé des théories connexionnistes ou proto-connexionnistes. Celles-ci tendaient à être des théories spéculatives. Au début du XXe siècle, Edward Thorndike écrivait sur l'apprentissage humain en posant un réseau de type connexionniste.
Les réseaux de Hopfield avaient des précurseurs dans le modèle d'Ising dû à Wilhelm Lenz (1920) et Ernst Ising (1925), bien que le modèle d'Ising conçu par eux n'impliquait pas le temps. Les simulations de Monte Carlo du modèle d'Ising ont nécessité l'avènement des ordinateurs dans les années 1950.
La première vague
La première vague a commencé en 1943 avec Warren Sturgis McCulloch et Walter Pitts, qui se sont concentrés sur la compréhension des circuits neuronaux à travers une approche formelle et mathématique. Leur article classique « A Logical Calculus of Ideas Immanent in Nervous Activity » (1943) a montré comment les systèmes neuronaux pouvaient implémenter la logique du premier ordre. Ils ont été influencés par les travaux de Nicolas Rashevsky dans les années 1930.
Frank Rosenblatt a publié l'article de 1958 « The Perceptron: A Probabilistic Model For Information Storage and Organization in the Brain » dans Psychological Review tout en travaillant au Cornell Aeronautical Laboratory. Le perceptron était un simple réseau à une couche qui pouvait classer des motifs linéairement séparables. La première vague s'est terminée avec le livre de 1969 Perceptrons sur les limitations de l'idée originale du perceptron, écrit par Marvin Minsky et Seymour Papert, ce qui a contribué à décourager les principales agences de financement aux États-Unis d'investir dans la recherche connexionniste. À quelques exceptions notables près, la plupart des recherches connexionnistes sont entrées dans une période d'inactivité jusqu'au milieu des années 1980. Le terme modèle connexionniste a été réintroduit dans un article de 1982 dans la revue Cognitive Science par Jerome Feldman et Dana Ballard.
La deuxième vague
La deuxième vague a fleuri à la fin des années 1980, suite à un livre de 1987, Parallel Distributed Processing, de James L. McClelland, David E. Rumelhart et leurs collègues, qui a introduit des améliorations à l'idée simple du perceptron. Celles-ci comprenaient des processeurs intermédiaires maintenant connus sous le nom de couches cachées aux côtés des unités d'entrée et de sortie, et l'utilisation d'une fonction d'activation sigmoïde au lieu de l'ancienne fonction tout-ou-rien. Leur travail s'est appuyé sur celui de John Hopfield, qui a été une figure clé dans l'étude des caractéristiques mathématiques des fonctions d'activation sigmoïdes.
De la fin des années 1980 au milieu des années 1990, le connexionnisme a pris un ton presque révolutionnaire lorsque des chercheurs comme Schneider, Terence Horgan et Tienson ont posé la question de savoir si le connexionnisme représentait un changement fondamental en psychologie et dans la soi-disant bonne vieille IA. Certains avantages de l'approche connexionniste de la deuxième vague comprenaient son applicabilité à un large éventail de fonctions, l'approximation structurelle des neurones biologiques, les faibles exigences en matière de structure innée et la capacité de dégradation gracieuse. Ses inconvénients comprenaient la difficulté à déchiffrer comment les réseaux de neurones artificiels traitent l'information ou rendent compte de la compositionnalité des représentations mentales, et une difficulté résultante à expliquer les phénomènes à un niveau supérieur.
La troisième vague et l'apprentissage profond
La troisième vague actuelle a été marquée par des avancées dans l'apprentissage profond, qui ont rendu possible la création de grands modèles de langage. Le succès des réseaux d'apprentissage profond au cours de la dernière décennie a considérablement accru la popularité de cette approche, mais la complexité et l'échelle de ces réseaux ont entraîné des problèmes accrus d'interprétabilité. Les architectures modernes telles que le transformeur ont stimulé les progrès dans le IA générative, avec des modèles développés dans des organisations telles que OpenAI, Anthropic et Google DeepMind. Ces systèmes s'appuient sur des principes connexionnistes mais fonctionnent à des échelles bien supérieures aux premiers réseaux, avec des milliards de paramètres entraînés sur de vastes ensembles de données en utilisant du matériel spécialisé de sociétés comme Nvidia et AMD.