LeNet est une série d'architectures de réseaux de neurones convolutifs (CNN) créées par un groupe de recherche des Laboratoires Bell d'AT&T entre 1988 et 1998, centré autour de Yann LeCun. Ces réseaux ont été conçus pour lire de petites images en niveaux de gris de chiffres et de lettres manuscrits, et ont été utilisés dans les distributeurs automatiques de billets pour lire les chèques. Les réseaux de neurones convolutifs sont un type de réseau de neurones à propagation avant dont les neurones artificiels peuvent répondre à une partie des cellules environnantes dans la zone de couverture et fonctionnent bien dans le traitement d'images à grande échelle. LeNet-5 a été l'un des premiers réseaux de neurones convolutifs et a joué un rôle historique important dans le développement de l'apprentissage profond. En général, lorsque l'on fait référence à LeNet sans numéro, on désigne la version de 1998, LeNet-5, qui est la plus connue.
Historique du développement
En octobre 1988, LeCun a rejoint le département de recherche sur les systèmes adaptatifs des Laboratoires Bell d'AT&T à Holmdel, dans le New Jersey, dirigé par Lawrence D. Jackel. Fin novembre 1988, John S. Denker et al. ont publié une conception de réseau neuronal pour la reconnaissance de codes postaux manuscrits, mais les premières couches de connexions étaient réglées manuellement.
En 1989, Yann LeCun et al. des Laboratoires Bell ont appliqué pour la première fois l'algorithme de rétropropagation à des applications pratiques, estimant que la capacité d'apprendre la généralisation du réseau pouvait être grandement améliorée en fournissant des contraintes issues du domaine de la tâche. Ils ont combiné un réseau de neurones convolutif entraîné par rétropropagation pour lire des chiffres manuscrits et l'ont appliqué avec succès à l'identification des codes postaux manuscrits fournis par le service postal américain. Cela a été le prototype de ce qui sera plus tard appelé LeNet-1. La même année, LeCun a décrit un problème de reconnaissance de petits chiffres manuscrits dans un autre article, montrant que même si le problème était linéairement séparable, les réseaux à une seule couche présentaient de faibles capacités de généralisation. En utilisant des détecteurs de caractéristiques invariants par translation sur un réseau multicouche contraint, le modèle pouvait fonctionner très bien. Il croyait que ces résultats prouvaient que la minimisation du nombre de paramètres libres dans le réseau de neurones pouvait améliorer sa capacité de généralisation.
En 1989, leur article présentant LeNet-1 décrivait à nouveau l'application des réseaux à rétropropagation à la reconnaissance de chiffres manuscrits. Ils ont effectué un prétraitement minimal sur les données, et le modèle a été soigneusement conçu pour la tâche et fortement contraint. Les données d'entrée consistaient en des images, chacune contenant un chiffre, et les résultats des tests sur les données de codes postaux numériques fournies par le service postal américain ont montré que le modèle avait un taux d'erreur de seulement 1 % et un taux de rejet d'environ 9 %.
Leurs recherches se sont poursuivies pendant les quatre années suivantes, et en 1994, la base de données MNIST a été développée, pour laquelle LeNet-1 était trop petit, d'où la création d'un nouveau réseau, LeNet-4, entraîné sur celle-ci. Un an plus tard, le groupe des Laboratoires Bell d'AT&T a passé en revue diverses méthodes de reconnaissance de caractères manuscrits dans un article, en utilisant des chiffres manuscrits standard pour identifier des tâches de référence. Ces modèles ont été comparés et les résultats ont montré que le réseau le plus récent surpassait les autres modèles.
En 1998, Yann LeCun, Leon Bottou, Yoshua Bengio et Patrick Haffner ont pu fournir des exemples d'applications pratiques des réseaux de neurones, comme deux systèmes de reconnaissance de caractères manuscrits en ligne et des modèles capables de lire des millions de chèques par jour, ce qui inclut une description de LeNet-5. La recherche a connu un grand succès et a suscité l'intérêt des chercheurs pour l'étude des réseaux de neurones. Bien que l'architecture des réseaux de neurones les plus performants aujourd'hui ne soit pas la même que celle de LeNet, ce réseau a été le point de départ d'un grand nombre d'architectures de réseaux de neurones et a également apporté une inspiration au domaine.
Architecture
LeNet présente plusieurs motifs courants des réseaux de neurones convolutifs modernes, tels que les couches convolutives, les couches de regroupement et les couches entièrement connectées. Chaque couche convolutive comprend trois parties : la convolution, le regroupement et les fonctions d'activation non linéaires. Il utilise la convolution pour extraire les caractéristiques spatiales (la convolution était à l'origine appelée champs récepteurs), le sous-échantillonnage par regroupement moyen, les fonctions d'activation tanh, des couches entièrement connectées pour la classification en couches finales, et des connexions éparses entre les couches pour réduire la complexité du calcul.
En 1989, LeCun et al. ont publié un rapport contenant « Net-1 » à « Net-5 ». De nombreux perfectionnements ont suivi jusqu'en 1998, et la dénomination est incohérente. En général, lorsque l'on parle de « LeNet », on fait référence au LeNet de 1998, également connu sous le nom de « LeNet-5 ». On a fait référence à LeNet-1, 4 et 5, mais il n'est pas clair à quoi pourraient correspondre LeNet-2 et LeNet-3.
Net de 1988
Le premier réseau neuronal publié par le groupe de recherche de LeCun date de 1988. Il s'agissait d'une approche hybride. La première étape mettait à l'échelle, redressait et squelettonisait l'image d'entrée. La deuxième étape était une couche convolutive avec 18 noyaux conçus manuellement. La troisième étape était un réseau entièrement connecté avec une couche cachée. L'ensemble de données était une collection d'images de chiffres manuscrits extraites du courrier réel des États-Unis, le même ensemble de données que celui utilisé dans le célèbre rapport de 1989.
Net-1 à Net-5
Net-1 à Net-5 ont été publiés dans un rapport de 1989. La dernière couche de tous était entièrement connectée. L'article original n'explique pas la stratégie de remplissage. Toutes les cellules ont un biais indépendant, y compris les cellules de sortie des couches convolutives.
- Net-1 : Pas de couche cachée. Entièrement connecté. (16×16) → 10.
- Net-2 : Une couche cachée entièrement connectée avec 12 unités cachées. (16×16) → 12 → 10.
- Net-3 : Deux couches cachées convolutives. (16×16) → (8×8) → (4×4) → 10. Les deux sont des couches localement connectées avec une forme d'entrée de 3×3 et un pas de 2.
- Net-4 : Deux couches cachées, la première est une convolution, la seconde est localement connectée. (16×16) → (8×8×2) → (4×4) → 10. La couche convolutive a 2 noyaux de forme 3×3 et un pas de 2. La couche localement connectée a une forme d'entrée de 3×3 et un pas de 2.
Héritage
L'influence de LeNet dépasse son application immédiate. Il a démontré l'efficacité de la rétropropagation dans l'entraînement de réseaux profonds et a introduit des concepts architecturaux clés qui sont devenus standard dans les CNN ultérieurs. Le succès de LeNet dans la lecture de chiffres manuscrits a stimulé l'intérêt pour les réseaux de neurones et a jeté les bases des développements ultérieurs en apprentissage automatique et en intelligence artificielle. Ses principes se reflètent dans les architectures modernes, bien qu'ils aient considérablement évolué. L'ensemble de données MNIST, développé en 1994 pour l'entraînement de LeNet-4, reste une référence standard dans le domaine. Le déploiement pratique de LeNet dans les distributeurs automatiques de billets pour la lecture de chèques a mis en évidence la viabilité des réseaux de neurones dans le monde réel, contribuant à l'adoption plus large des techniques d'apprentissage profond.