Le Cognitron est un modèle précoce de réseau de neurones artificiels introduit par l'informaticien japonais Kunihiko Fukushima en 1975. Il a été conçu comme un système auto-organisé capable d'apprendre à reconnaître des motifs grâce à un apprentissage non supervisé et compétitif, sans nécessiter d'étiquettes externes ni de signaux d'erreur. Ce modèle a jeté les bases d'architectures hiérarchiques ultérieures, notamment le Neocognitron, et a contribué au développement d'approches inspirées de la biologie dans le apprentissage automatique et la vision par ordinateur.
Le Cognitron fonctionne comme un réseau multicouche où chaque couche est composée de cellules excitatrices et inhibitrices. Sa règle d'apprentissage est locale et de type hebbien : les connexions entre cellules se renforcent lorsque leurs activités sont corrélées, tandis que les interactions inhibitrices imposent une compétition entre les cellules d'une même couche. Cette auto-organisation permet au réseau de développer des détecteurs de caractéristiques adaptés aux motifs présents dans l'entrée, tels que des contours ou des formes simples, sans supervision.
Architecture et mécanisme d'apprentissage
La structure du Cognitron est composée d'une cascade de couches, chacune contenant un réseau bidimensionnel de cellules. Chaque cellule reçoit des entrées d'une région locale de la couche précédente, imitant l'organisation en champs récepteurs observée dans le cortex visuel. Au sein de chaque couche, les cellules excitatrices entrent en compétition via des cellules inhibitrices, garantissant qu'un sous-ensemble de cellules seulement répond fortement à une entrée donnée - une forme de dynamique de type « gagnant-prend-tout ». La règle d'apprentissage, proposée par Fukushima, ajuste les poids synaptiques en fonction du produit de l'activité présynaptique et postsynaptique, mais avec un seuil qui empêche une croissance incontrôlée. Ce mécanisme non supervisé permet au réseau d'extraire des caractéristiques de plus en plus complexes à mesure que les signaux se propagent à travers les couches successives.
Relation avec le Neocognitron
Le Cognitron a été un précurseur direct du Neocognitron, que Fukushima a introduit en 1980. Le Neocognitron a étendu le Cognitron en incorporant des couches alternées de cellules simples (S) et complexes (C), offrant une invariance par déplacement et permettant la reconnaissance de motifs indépendamment de leur position dans l'entrée. Alors que le Cognitron pouvait apprendre des caractéristiques par auto-organisation, il manquait de robustesse face aux variations spatiales, ce que le Neocognitron a réussi à atteindre. Le Neocognitron est devenu influent dans le domaine du apprentissage profond, inspirant les architectures convolutionnelles utilisées dans les systèmes modernes.
Contexte historique et influence
Fukushima a développé le Cognitron alors qu'il travaillait aux Laboratoires de recherche en sciences de la diffusion de la NHK au Japon. Le modèle a été publié dans la revue Biological Cybernetics en 1975, à une époque où la recherche en intelligence artificielle était dominée par des approches symboliques. Le Cognitron représentait un paradigme connexionniste alternatif, mettant l'accent sur l'apprentissage à partir des données et la plausibilité biologique. Il a contribué à la résurgence plus large de la recherche sur les réseaux de neurones dans les années 1980, aux côtés des travaux de Bernard Widrow et d'autres. Bien que le Cognitron lui-même n'ait pas été largement déployé dans des applications pratiques, ses principes ont informé les modèles ultérieurs et ont contribué à établir la viabilité des réseaux hiérarchiques auto-organisés.
Héritage et pertinence moderne
L'accent mis par le Cognitron sur l'apprentissage local non supervisé reste pertinent dans la recherche contemporaine sur le apprentissage automatique et le apprentissage profond. Les réseaux de neurones convolutionnels modernes, tels que ceux utilisés en reconnaissance d'images, partagent des similitudes conceptuelles avec la conception en couches et à champs récepteurs du Cognitron, bien qu'ils utilisent généralement la rétropropagation supervisée. Le modèle a également anticipé des idées dans l'apprentissage auto-supervisé, où les réseaux dérivent des représentations à partir de la structure des données sans étiquettes explicites. Des chercheurs d'institutions comme le MIT CSAIL et le Stanford AI Lab ont cité le Cognitron comme un exemple précoce d'architecture motivée par la biologie, et il est souvent discuté dans les enquêtes historiques sur le développement des réseaux de neurones.
Limites et critiques
Malgré ses aspects innovants, le Cognitron présentait plusieurs limites. Sa règle d'apprentissage pouvait conduire à des poids instables ou saturés dans certaines conditions, et la capacité du réseau à reconnaître des images complexes du monde réel était limitée en raison de l'absence d'invariance par déplacement. L'entraînement nécessitait un réglage minutieux des paramètres, et le modèle ne passait pas à l'échelle aussi efficacement que les méthodes supervisées ultérieures. Ces lacunes ont motivé les travaux ultérieurs de Fukushima sur le Neocognitron et ont contribué à la domination éventuelle des approches basées sur la rétropropagation dans les années 1980 et 1990.
Voir aussi
Références
- Fukushima, K. (1975). Cognitron : A self-organizing multilayered neural network. Biological Cybernetics, 20(3-4), 121-136.
- Fukushima, K. (1980). Neocognitron : A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position. Biological Cybernetics, 36(4), 193-202.