L'apprentissage profond est une branche du apprentissage automatique qui utilise des réseaux de neurones artificiels avec de nombreuses couches empilées pour apprendre des représentations hiérarchiques directement à partir de données brutes, telles que des pixels, des formes d'onde audio ou du texte, sans nécessiter de caractéristiques conçues manuellement. Le mot « profond » fait référence au nombre de couches entre l'entrée et la sortie, les systèmes ayant généralement une profondeur de chemin d'attribution de crédit (CAP) supérieure à deux. L'apprentissage profond peut être supervisé, semi-supervisé ou non supervisé, et s'inspire du fonctionnement du cerveau biologique sans pour autant viser à le modéliser.
Histoire
Les fondements mathématiques de l'apprentissage profond remontent aux années 1980, lorsque la rétropropagation a été popularisée comme méthode pour entraîner des réseaux multicouches. Les progrès ont stagné dans les années 1990 et 2000 en raison de données limitées, de puissance de calcul limitée et de la concurrence d'autres méthodes statistiques, une période parfois décrite comme faisant partie d'un hiver de l'IA plus large pour les approches connexionnistes en particulier. L'ère moderne du domaine est généralement datée de 2012, lorsque AlexNet, un réseau de neurones convolutif profond entraîné sur des unités de traitement graphique, a remporté le concours ImageNet avec une large avance sur les méthodes basées sur des caractéristiques artisanales. Les chercheurs Geoffrey Hinton, Yann LeCun et Yoshua Bengio, plus tard appelés le trio fondateur du domaine, ont reçu le prix Turing 2018 pour avoir posé ses bases ; Hinton et le physicien John Hopfield ont partagé le prix Nobel de physique 2024 pour des travaux fondamentaux connexes.
Le terme « apprentissage profond » a été introduit dans la communauté de l'apprentissage automatique par Rina Dechter en 1986, et dans les réseaux de neurones artificiels par Igor Aizenberg et ses collègues en 2000 dans le contexte des neurones à seuil booléen.
Architecture
Les premiers succès de l'apprentissage profond provenaient des réseaux convolutifs pour les images et des réseaux de neurones récurrents, y compris la variante LSTM, pour les données séquentielles telles que le texte et la parole. Les architectures courantes incluent également les réseaux entièrement connectés, les réseaux de croyances profondes, les réseaux antagonistes génératifs (GAN), les transformeurs et les champs de radiance neuronaux. L'introduction en 2017 de l'architecture transformeur, qui traite les séquences en parallèle à l'aide de mécanismes d'attention plutôt que par récurrence pas à pas, a largement remplacé les réseaux récurrents pour les tâches linguistiques et est devenue la base des grands modèles de langage modernes. Les réseaux sont entraînés en minimisant une fonction de perte via des variantes de descente de gradient, avec la rétropropagation utilisée pour calculer comment chaque paramètre doit changer. Les modèles d'apprentissage profond peuvent être construits avec une méthode gourmande couche par couche et peuvent être appliqués à des tâches d'apprentissage non supervisé.
Pourquoi cela fonctionne à grande échelle
Les réseaux profonds bénéficient de manière disproportionnée de plus de données et de plus de puissance de calcul par rapport aux méthodes statistiques antérieures, une relation formalisée plus tard sous le nom de lois de mise à l'échelle. Ce comportement de mise à l'échelle, combiné à la capacité de traitement parallèle du matériel GPU initialement conçu pour le rendu graphique, a permis aux praticiens d'entraîner des modèles toujours plus grands dans les années 2010 et 2020. La domination de Nvidia dans les GPU capables d'IA et sa plateforme logicielle CUDA sont devenues un élément central de l'infrastructure industrielle en conséquence.
Interprétations
Les réseaux de neurones profonds sont généralement interprétés en termes de théorème d'approximation universelle ou d'inférence probabiliste. Le théorème classique d'approximation universelle stipule que les réseaux à propagation avant avec une seule couche cachée de taille finie peuvent approximer des fonctions continues ; la première preuve a été publiée par George Cybenko en 1989 pour les activations sigmoïdes et généralisée aux architectures multicouches par Kurt Hornik en 1991. Des travaux récents ont étendu l'approximation universelle à des activations non bornées telles que l'unité linéaire rectifiée. L'interprétation probabiliste, qui considère les non-linéarités d'activation comme des fonctions de distribution cumulative, a conduit à l'introduction du dropout comme régularisateur.
Impact et critiques
L'apprentissage profond a stimulé des progrès rapides en vision par ordinateur, reconnaissance vocale, traduction automatique, traitement du langage naturel et, plus visiblement pour le public, la génération de texte et d'images. Le domaine a également été appliqué à la bioinformatique, à la conception de médicaments, à l'analyse d'images médicales, aux sciences du climat, à l'inspection des matériaux et aux programmes de jeux de société, où les résultats ont parfois égalé ou dépassé les performances d'experts humains. Les critiques notent que les réseaux profonds restent largement opaques, fonctionnent comme des correspondances statistiques dont les échecs peuvent être difficiles à prédire, et nécessitent d'énormes ressources énergétiques et de données, soulevant des préoccupations environnementales et de droits d'auteur. Les partisans rétorquent que la même recette de mise à l'échelle a produit à plusieurs reprises des capacités qui n'étaient pas explicitement conçues, un schéma central aux débats en cours sur la trajectoire du domaine vers une intelligence plus générale.
Développements récents
Dans les années 2020, les grands modèles de langage basés sur l'architecture transformeur, tels que GPT et les bibliothèques Hugging Face Transformers, sont devenus des produits grand public. L'apprentissage profond s'est également étendu aux modèles génératifs comme les GAN et les modèles de diffusion pour la synthèse d'images, et aux champs de radiance neuronaux pour la reconstruction de scènes 3D. Les avancées en apprentissage de représentations et en apprentissage non supervisé continuent de réduire la dépendance aux données étiquetées. Le domaine reste un foyer de recherche intense et de débat public, avec des efforts continus pour améliorer l'interprétabilité, l'efficacité et l'alignement avec les valeurs humaines.