LeNet-5 est une architecture de réseau neuronal convolutif développée par un groupe de recherche des laboratoires Bell d'AT&T, centré autour de Yann LeCun, et publiée en 1998. C'est la version la plus connue de la série LeNet, conçue pour lire de petites images en niveaux de gris de chiffres et de lettres manuscrits. LeNet-5 est historiquement important en tant que l'un des premiers réseaux neuronaux convolutifs et une contribution fondamentale au développement de l'apprentissage profond, influençant de nombreuses architectures modernes.
Les réseaux neuronaux convolutifs sont un type de réseau neuronal feed-forward dont les neurones artificiels peuvent répondre à une partie des cellules environnantes dans la zone de couverture, performant bien dans le traitement d'images à grande échelle. LeNet-5 illustre cela en utilisant des couches convolutives pour extraire des caractéristiques spatiales, des couches de pooling pour le sous-échantillonnage, et des couches entièrement connectées pour la classification. Son succès dans des applications pratiques, comme la lecture de millions de chèques par jour, a démontré la viabilité des réseaux neuronaux dans des tâches du monde réel.
Historique du développement
Les origines de LeNet remontent à 1988, lorsque Yann LeCun a rejoint le département de recherche sur les systèmes adaptatifs des laboratoires Bell d'AT&T à Holmdel, dans le New Jersey, dirigé par Lawrence D. Jackel. Fin novembre 1988, John S. Denker et ses collègues ont publié une conception de réseau neuronal pour reconnaître les codes postaux manuscrits, bien que ses premières couches aient été réglées manuellement. En 1989, LeCun et son équipe ont appliqué pour la première fois l'algorithme de rétropropagation à des applications pratiques, combinant des réseaux neuronaux convolutifs avec la rétropropagation pour lire des nombres manuscrits. Ce prototype, plus tard appelé LeNet-1, a été appliqué avec succès pour identifier les codes postaux manuscrits du service postal américain, atteignant un taux d'erreur de seulement 1 % avec un taux de rejet d'environ 9 %.
Au cours des quatre années suivantes, la recherche s'est poursuivie, conduisant au développement de la base de données MNIST en 1994. LeNet-1 était trop petit pour ce nouvel ensemble de données, ce qui a conduit à la création de LeNet-4. En 1998, Yann LeCun, Leon Bottou, Yoshua Bengio et Patrick Haffner ont décrit LeNet-5 dans un article qui présentait également des applications pratiques, notamment des systèmes de reconnaissance de caractères manuscrits et des modèles capables de lire des millions de chèques par jour. Ce travail a suscité un large intérêt pour la recherche sur les réseaux neuronaux, et bien que les architectures modernes diffèrent, LeNet a servi de point de départ pour de nombreuses conceptions ultérieures.
Architecture
LeNet-5 intègre plusieurs motifs courants dans les réseaux neuronaux convolutifs modernes, notamment des couches convolutives, des couches de pooling et des couches entièrement connectées. Chaque couche convolutive comprend trois parties : la convolution, le pooling et une fonction d'activation non linéaire, généralement la fonction tanh. Le réseau utilise la convolution pour extraire des caractéristiques spatiales, avec le concept de champs récepteurs, et emploie un pooling moyen pour le sous-échantillonnage. Les dernières couches sont entièrement connectées pour la classification, et des connexions éparses entre les couches réduisent la complexité computationnelle.
Le rapport de 1989 de LeCun et al. a introduit des réseaux étiquetés Net-1 à Net-5, avec divers raffinements conduisant au LeNet-5 de 1998. La dénomination est incohérente, et il n'est pas clair à quoi LeNet-2 et LeNet-3 pourraient se référer. LeNet-1, LeNet-4 et LeNet-5 sont bien documentés, mais les versions intermédiaires ne le sont pas.
Prototypes précoces
Le premier réseau neuronal publié par le groupe de LeCun en 1988 était une approche hybride. Sa première étape mettait à l'échelle, redressait et squelettisait l'image d'entrée. La deuxième étape utilisait une couche convolutive avec 18 noyaux conçus à la main, et la troisième étape était un réseau entièrement connecté avec une couche cachée. L'ensemble de données consistait en des images de chiffres manuscrits extraites du courrier réel des États-Unis, le même ensemble de données utilisé dans le célèbre rapport de 1989.
Net-1 à Net-5
Le rapport de 1989 détaillait Net-1 à Net-5, tous avec des dernières couches entièrement connectées. L'article original n'explique pas la stratégie de padding, et toutes les cellules ont des biais indépendants, y compris les cellules de sortie des couches convolutives.
- Net-1 : Aucune couche cachée, entièrement connecté, mappant (16×16) à 10 sorties.
- Net-2 : Une couche cachée entièrement connectée avec 12 unités cachées, mappant (16×16) à 12 à 10.
- Net-3 : Deux couches cachées convolutives, mappant (16×16) à (8×8) à (4×4) à 10, avec des couches localement connectées utilisant des formes d'entrée 3×3 et un pas de 2.
- Net-4 : Deux couches cachées, la première convolutive et la seconde localement connectée, mappant (16×16) à (8×8×2) à (4×4) à 10, avec la couche de convolution ayant 2 noyaux de forme 3×3 et un pas de 2.
- Net-5 : La version finale, LeNet-5, a raffiné ces concepts en une architecture plus profonde avec plusieurs couches convolutives et de pooling, aboutissant à des couches entièrement connectées pour la classification.
Impact et héritage
Les principes de conception de LeNet-5, tels que l'extraction de caractéristiques convolutives et le sous-échantillonnage, sont devenus fondamentaux dans l'apprentissage profond. Il a démontré que minimiser le nombre de paramètres libres dans un réseau neuronal pouvait améliorer la généralisation, une idée clé pour les architectures ultérieures. Le succès du réseau dans la lecture de chèques manuscrits dans les distributeurs automatiques et les codes postaux a influencé à la fois la recherche académique et les applications commerciales. Bien que les réseaux neuronaux modernes aient considérablement évolué, LeNet-5 reste un jalon historique, souvent cité comme un précurseur des modèles contemporains de apprentissage profond et un catalyseur pour l'adoption plus large des approches réseau neuronal dans apprentissage automatique et intelligence artificielle.