L'apprentissage automatique est un sous-domaine de l'intelligence artificielle dans lequel les systèmes informatiques améliorent leurs performances sur une tâche en apprenant des motifs statistiques à partir de données, plutôt qu'en suivant des règles explicitement programmées à la main. Il sous-tend la plupart des applications contemporaines de l'intelligence artificielle, des filtres anti-spam aux grands modèles de langage.
Le terme est généralement attribué à Arthur Samuel, qui l'a utilisé en 1959 pour décrire un programme de jeu de dames qui s'améliorait par l'auto-jeu.
Paradigmes
L'apprentissage automatique est couramment divisé en trois paradigmes. Dans l'apprentissage supervisé, un modèle apprend à partir d'exemples associés à des étiquettes correctes, comme des images annotées avec des catégories d'objets. Dans l'apprentissage non supervisé, un modèle trouve une structure dans des données non étiquetées, par exemple en regroupant des éléments similaires. Dans l'apprentissage par renforcement, un agent apprend en prenant des actions dans un environnement et en recevant des récompenses ou des pénalités, un paradigme qui a produit des résultats marquants comme AlphaGo. Une quatrième approche, l'apprentissage auto-supervisé, génère son propre signal d'entraînement à partir de données non étiquetées, par exemple en prédisant un mot caché à partir de son contexte, et est la méthode derrière le pré-entraînement des modèles de langage modernes.
Méthodes fondamentales
La plupart des modèles d'apprentissage automatique sont entraînés en définissant une fonction de perte qui mesure à quel point les prédictions du modèle sont erronées, puis en ajustant les paramètres du modèle pour réduire cette perte par descente de gradient ou une procédure d'optimisation connexe. Les approches statistiques antérieures à l'ère de l'apprentissage profond, comme les machines à vecteurs de support développées par Vladimir Vapnik et ses collègues, restent utilisées pour des problèmes plus petits ou plus interprétables. Depuis les années 2010, les modèles de réseaux de neurones, en particulier les architectures d'apprentissage profond, sont devenus la méthode dominante pour les tâches impliquant des images, de l'audio et du texte, avec suffisamment de données d'entraînement et de puissance de calcul.
Préoccupations pratiques
Un défi central de l'apprentissage automatique est l'surapprentissage, où un modèle mémorise des motifs spécifiques à ses données d'entraînement plutôt que d'apprendre des motifs qui se généralisent à de nouveaux exemples. Les praticiens y remédient par des techniques telles que la régularisation, la validation croisée et la mise de côté de données de test. La qualité et l'échelle des données d'entraînement, ainsi que le choix de l'architecture du modèle, sont généralement des déterminants plus importants de la performance réelle que n'importe quelle astuce algorithmique unique.
Adoption
L'apprentissage automatique est passé d'une discipline académique à une pratique d'ingénierie courante au cours des années 2010, en partie grâce à des cadres logiciels publics, au cloud computing et à des éducateurs comme Andrew Ng, dont les cours en ligne ont introduit le domaine à un large public. Il sous-tend désormais le classement des recherches, la détection de fraude, l'analyse d'imagerie médicale, les systèmes de recommandation et l'entraînement des grands modèles de langage qui alimentent les assistants conversationnels modernes.
La distinction entre l'apprentissage automatique et les logiciels antérieurs basés sur des règles n'est pas toujours nette en pratique, car de nombreux systèmes de production combinent des composants appris avec une logique métier codée à la main, mais la caractéristique déterminante d'un système d'apprentissage automatique reste que son comportement est façonné de manière substantielle par les données sur lesquelles il a été entraîné plutôt que par des règles qu'un programmeur a écrites directement.
Développements récents
En 2012, AlexNet, développé par Alex Krizhevsky, Ilya Sutskever et Geoffrey Hinton, a obtenu des résultats nettement améliorés dans le concours de reconnaissance d'images ImageNet, contribuant à l'adoption plus large des réseaux de neurones profonds. En 2013, Tomáš Mikolov et ses collègues ont introduit Word2vec, des techniques pour apprendre efficacement des représentations vectorielles distribuées de mots à partir de grands corpus de texte. En 2014, Ian Goodfellow et ses collègues ont introduit les réseaux antagonistes génératifs (GAN), un cadre pour entraîner des modèles génératifs par un processus antagoniste. En 2016, AlphaGo est devenu le premier programme informatique à battre un joueur professionnel humain de Go sans handicap sur un plateau pleine taille, en utilisant des réseaux de neurones profonds et l'apprentissage par renforcement. En 2017, Ashish Vaswani et ses collègues ont introduit le Transformer, une architecture de réseau de neurones basée principalement sur l'Attention plutôt que sur la récurrence ou la convolution.