En 2006, un groupe de recherche dirigé par Geoffrey Hinton à l'Université de Toronto a introduit les réseaux de croyances profondes, une classe de modèles génératifs profonds pouvant être entraînés efficacement grâce à une approche gloutonne couche par couche. Cette percée a marqué un tournant dans l'apprentissage automatique, démontrant que les réseaux neuronaux multicouches pouvaient apprendre des représentations de caractéristiques utiles à partir des données sans ingénierie manuelle extensive. Le terme « apprentissage profond » avait été utilisé plus tôt, mais les travaux de 2006 ont fourni la première méthode pratique pour entraîner des architectures profondes, suscitant un regain d'intérêt pour les réseaux neuronaux qui a finalement conduit au boom moderne de l'IA.
Les réseaux de croyances profondes sont composés de plusieurs couches de variables latentes, où chaque couche capture des représentations de plus en plus abstraites des données d'entrée. Le processus d'entraînement implique une phase de pré-entraînement non supervisé, où chaque couche est entraînée comme une machine de Boltzmann restreinte, suivie d'un ajustement fin de l'ensemble du réseau. Cette approche a surmonté le problème du gradient vanishing qui avait entravé les réseaux profonds antérieurs, permettant l'apprentissage de hiérarchies de caractéristiques à partir de données brutes. Le succès des réseaux de croyances profondes a jeté les bases des développements ultérieurs en apprentissage profond, notamment les réseaux neuronaux convolutifs, les réseaux neuronaux récurrents et finalement les transformeurs.
Fondements théoriques
La percée de 2006 reposait sur le théorème d'approximation universelle, qui stipule qu'un réseau neuronal feedforward avec une seule couche cachée peut approximer toute fonction continue, comme prouvé par George Cybenko en 1989 et généralisé par Kurt Hornik en 1991. Cependant, les réseaux profonds avec plusieurs couches étaient connus pour être plus efficaces pour représenter certaines fonctions, et la méthode d'entraînement gloutonne couche par couche fournissait un moyen pratique d'entraîner de tels réseaux. L'interprétation probabiliste des réseaux neuronaux, qui traite les fonctions d'activation comme des fonctions de distribution cumulatives, a également joué un rôle dans le développement des réseaux de croyances profondes, car ce sont des modèles génératifs qui apprennent la distribution conjointe des données d'entrée.
Impact sur l'apprentissage automatique
L'introduction des réseaux de croyances profondes a démontré que l'apprentissage profond pouvait atteindre des performances supérieures sur des tâches telles que la classification et l'apprentissage de représentations, par rapport aux modèles peu profonds. Cela a conduit à un changement dans la communauté de l'apprentissage automatique, passant de l'ingénierie manuelle des caractéristiques à l'apprentissage de bout en bout. La capacité d'entraîner des réseaux profonds de manière non supervisée était particulièrement importante, car les données non étiquetées sont plus abondantes que les données étiquetées. Ces travaux ont également influencé le développement d'autres architectures profondes, notamment les machines de Boltzmann profondes et les autoencodeurs empilés, et ont ouvert la voie à la révolution de l'apprentissage profond en vision par ordinateur, en reconnaissance vocale et en traitement du langage naturel.
Héritage et évolution
Après la percée de 2006, l'apprentissage profond a rapidement évolué, avec des étapes clés incluant le développement des réseaux résiduels en 2015, qui ont permis l'entraînement de réseaux très profonds, et l'introduction de l'architecture transformeur en 2017, qui est devenue la base des grands modèles de langage modernes. Les principes de l'entraînement glouton couche par couche et du pré-entraînement non supervisé ont influencé des techniques ultérieures telles que la normalisation par lots et le dropout, qui ont encore stabilisé et accéléré l'entraînement des réseaux profonds. Aujourd'hui, l'apprentissage profond est une pierre angulaire de l'intelligence artificielle, avec des applications allant de l'analyse d'images médicales à la conduite autonome, et son impact continue de croître.
Contexte plus large
L'apprentissage profond fait partie du domaine plus large de l'apprentissage automatique, qui est lui-même un sous-domaine de l'intelligence artificielle. La percée de 2006 n'était pas un événement isolé mais s'appuyait sur des décennies de recherche en réseaux neuronaux, y compris les travaux précoces de Warren McCulloch et Walter Pitts en 1943, le perceptron de Frank Rosenblatt en 1958 et l'algorithme de rétropropagation popularisé dans les années 1980. Le terme « apprentissage profond » a été introduit dans la communauté de l'apprentissage automatique par Rina Dechter en 1986, et dans les réseaux neuronaux artificiels par Igor Aizenberg et ses collègues en 2000. Les travaux de 2006 par Hinton et son équipe sont cependant largement crédités d'avoir démontré la viabilité pratique des architectures profondes, et ils ont préparé le terrain pour les avancées rapides qui ont suivi.