Kunihiko Fukushima est un informaticien japonais dont le néocognitron, publié en 1980, est largement considéré comme l'ancêtre conceptuel direct du réseau de neurones convolutif (CNN), l'architecture qui sous-tend la plupart des systèmes actuels de vision par ordinateur.
Le néocognitron
Né en 1936, Fukushima a passé une grande partie de sa carrière aux laboratoires de recherche scientifique et technique de la NHK au Japon, avant d'occuper des postes académiques ultérieurs, notamment à l'université d'Osaka. S'appuyant sur les découvertes neurophysiologiques de David Hubel et Torsten Wiesel concernant les cellules simples et complexes du cortex visuel des chats, Fukushima a conçu un réseau de neurones multicouche dans lequel des couches alternées de « cellules S » détectant les caractéristiques et de « cellules C » tolérantes à la position permettaient au réseau de reconnaître des caractères manuscrits et des formes simples, indépendamment de petits décalages ou distorsions dans l'image d'entrée. Cette structure hiérarchique, où chaque couche construisait des caractéristiques plus abstraites à partir de la couche inférieure et où des opérations de regroupement offraient un certain degré d'invariance à la translation, anticipait la conception de convolution et de regroupement utilisée plus tard dans les CNN.
Le néocognitron était entraîné à l'aide d'une règle d'apprentissage non supervisée, couche par couche, plutôt que par rétropropagation de bout en bout, qui n'avait pas encore été popularisée pour les réseaux multicouches. Il ne pouvait pas être entraîné aussi efficacement ni mis à l'échelle aussi loin que les architectures ultérieures, mais ses idées structurelles se sont révélées durables.
Influence
Yann LeCun a crédité à plusieurs reprises le néocognitron comme une influence directe sur LeNet et la famille plus large des CNN qu'il a développée aux laboratoires Bell à la fin des années 1980 et dans les années 1990, en particulier l'idée des champs récepteurs locaux et du regroupement. Cette lignée traverse les CNN utilisés dans le résultat de 2012 de AlexNet, qui a déclenché le virage grand public vers le apprentissage profond, et se poursuit dans les architectures utilisées dans la vision par ordinateur moderne et certaines parties des systèmes de IA multimodale aujourd'hui. Fukushima a reçu des reconnaissances, notamment le prix IEEE Neural Networks Pioneer et le prix Bower 2021 pour les réalisations en science, et reste l'un des exemples les plus clairs du domaine d'une informatique inspirée de la biologie façonnant directement une architecture d'ingénierie dominante, bien avant que les limitations identifiées dans les premières recherches sur le perceptron ne soient pleinement résolues par les méthodes d'entraînement ultérieures basées sur le gradient. Contrairement à de nombreux chercheurs qui ont ensuite bâti sur ses idées, Fukushima a travaillé principalement dans des laboratoires industriels et académiques japonais plutôt que dans les réseaux universitaires et de laboratoires d'entreprise américains qui ont produit la plupart des percées célébrées ultérieurement dans le domaine, un fait souvent noté lorsque sa reconnaissance publique relativement limitée en dehors des cercles spécialisés est discutée.