La théorie de l'apprentissage statistique est un cadre pour l'apprentissage automatique qui s'inspire des domaines de la statistique et de l'analyse fonctionnelle. Elle traite du problème d'inférence statistique consistant à trouver une fonction prédictive à partir de données. La théorie a conduit à des applications réussies dans des domaines tels que la vision par ordinateur, la reconnaissance vocale et la bioinformatique, et elle sous-tend de nombreux algorithmes modernes d'apprentissage automatique, y compris les modèles de apprentissage profond et de réseau de neurones.
L'idée centrale est de formaliser l'apprentissage comme un problème d'optimisation : étant donné un ensemble d'exemples d'entraînement, sélectionner une fonction dans un espace d'hypothèses prédéfini qui minimise une fonction de perte mesurant l'erreur de prédiction. Parce que la véritable distribution de probabilité sous-jacente est inconnue, la théorie repose sur la minimisation du risque empirique et fournit des bornes sur l'erreur de généralisation des fonctions apprises.
Introduction
Les objectifs de l'apprentissage sont la compréhension et la prédiction. L'apprentissage se divise en plusieurs catégories, notamment l'apprentissage supervisé, l'apprentissage non supervisé, l'apprentissage en ligne et l'apprentissage par renforcement. Du point de vue de la théorie de l'apprentissage statistique, l'apprentissage supervisé est le mieux compris. L'apprentissage supervisé implique d'apprendre à partir d'un ensemble de données d'entraînement. Chaque point de l'ensemble d'entraînement est une paire entrée-sortie, où l'entrée est mappée vers une sortie. Le problème d'apprentissage consiste à inférer la fonction qui fait correspondre l'entrée et la sortie, de sorte que la fonction apprise puisse être utilisée pour prédire la sortie à partir d'une entrée future.
Selon le type de sortie, les problèmes d'apprentissage supervisé sont soit des problèmes de régression, soit des problèmes de classification. Si la sortie prend une plage continue de valeurs, il s'agit d'un problème de régression. En utilisant la loi d'Ohm comme exemple, une régression pourrait être effectuée avec la tension comme entrée et le courant comme sortie. La régression trouverait la relation fonctionnelle entre la tension et le courant comme étant R, de sorte que V = IR. Les problèmes de classification sont ceux pour lesquels la sortie sera un élément d'un ensemble discret d'étiquettes. La classification est très courante pour les applications d'apprentissage automatique. Dans la reconnaissance faciale, par exemple, une image du visage d'une personne serait l'entrée, et l'étiquette de sortie serait le nom de cette personne. L'entrée serait représentée par un grand vecteur multidimensionnel dont les éléments représentent les pixels de l'image.
Après avoir appris une fonction basée sur les données de l'ensemble d'entraînement, cette fonction est validée sur un ensemble de données de test, des données qui n'apparaissent pas dans l'ensemble d'entraînement.
Description Formelle
Prenons X comme l'espace vectoriel de toutes les entrées possibles, et Y comme l'espace vectoriel de toutes les sorties possibles. La théorie de l'apprentissage statistique adopte la perspective qu'il existe une distribution de probabilité inconnue sur l'espace produit Z = X × Y, c'est-à-dire qu'il existe une certaine p(z) = p(x, y) inconnue. L'ensemble d'entraînement est composé de n échantillons de cette distribution de probabilité, et est noté S = {(x1, y1), …, (xn, yn)} = {z1, …, zn}. Chaque xi est un vecteur d'entrée provenant des données d'entraînement, et yi est la sortie qui lui correspond.
Dans ce formalisme, le problème d'inférence consiste à trouver une fonction f : X → Y telle que f(x) ~ y. Soit H un espace de fonctions f : X → Y appelé l'espace d'hypothèses. L'espace d'hypothèses est l'espace de fonctions que l'algorithme va parcourir. Soit V(f(x), y) la fonction de perte, une métrique pour la différence entre la valeur prédite f(x) et la valeur réelle y. Le risque attendu est défini comme I[f] = ∫ V(f(x), y) p(x, y) dx dy. La fonction cible, la meilleure fonction possible f qui peut être choisie, est donnée par le f qui satisfait f = argmin_{h ∈ H} I[h].
Parce que la distribution de probabilité p(x, y) est inconnue, une mesure de substitution pour le risque attendu doit être utilisée. Cette mesure est basée sur l'ensemble d'entraînement, un échantillon de cette distribution de probabilité inconnue.
Minimisation du Risque Empirique
Le risque empirique est calculé comme la perte moyenne sur l'ensemble d'entraînement : I_emp[f] = (1/n) Σ V(f(xi), yi). Le principe de minimisation du risque empirique (ERM) sélectionne la fonction f qui minimise ce risque empirique. Cependant, minimiser uniquement le risque empirique peut conduire au sur-apprentissage, où la fonction performe bien sur les données d'entraînement mais mal sur les données non vues. Pour remédier à cela, la théorie de l'apprentissage statistique introduit des concepts tels que la régularisation et le contrôle de la capacité.
La régularisation ajoute un terme de pénalité au risque empirique pour décourager les fonctions trop complexes. Les mesures de capacité, telles que la dimension de Vapnik-Chervonenkis (VC), quantifient la complexité de l'espace d'hypothèses. La dimension VC est un concept fondamental dans la théorie de l'apprentissage statistique, fournissant une mesure du plus grand ensemble de points qui peut être brisé par l'espace d'hypothèses. Les bornes sur l'erreur de généralisation dépendent souvent de la dimension VC et du nombre d'échantillons d'entraînement.
Bornes de Généralisation
Un résultat central dans la théorie de l'apprentissage statistique est que, avec une probabilité élevée, le risque attendu d'une fonction apprise est borné par son risque empirique plus un terme qui croît avec la complexité de l'espace d'hypothèses et décroît avec le nombre d'échantillons d'entraînement. Formellement, pour un espace d'hypothèses avec une dimension VC d, avec une probabilité d'au moins 1 - δ, pour tout f dans H, la borne suivante est vérifiée : I[f] ≤ I_emp[f] + O(√(d/n) + √(log(1/δ)/n)). Cette borne illustre le compromis entre le sous-apprentissage et le sur-apprentissage : un espace d'hypothèses plus grand peut réduire le risque empirique mais augmente la pénalité de complexité.
Ces bornes motivent le principe de minimisation du risque structurel, qui équilibre le risque empirique et la complexité du modèle en choisissant un espace d'hypothèses qui minimise la borne. Ce principe a influencé la conception de nombreux algorithmes d'apprentissage automatique, y compris les machines à vecteurs de support.
Applications et Influence
La théorie de l'apprentissage statistique a eu un impact profond sur le développement de l'apprentissage automatique. Elle fournit une base théorique pour comprendre pourquoi les algorithmes généralisent, et elle a guidé la conception d'algorithmes tels que les machines à vecteurs de support et les techniques de régularisation. Les principes de minimisation du risque empirique et de contrôle de la capacité sont intégrés dans les cadres modernes de apprentissage profond, où des techniques comme le abandon et la normalisation par lots peuvent être vues comme des formes de régularisation.
La théorie éclaire également l'analyse des modèles de réseaux de neurones, y compris les architectures de transformeurs utilisées dans les grands modèles de langage. Les chercheurs d'institutions comme le CSAIL du MIT et le laboratoire d'IA de Stanford continuent de s'appuyer sur ces fondations pour relever les défis de l'IA générative et d'autres domaines.
En pratique, la théorie de l'apprentissage statistique a été appliquée à la vision par ordinateur, à la reconnaissance vocale et à la bioinformatique, entre autres domaines. Ses principes sont également pertinents pour le développement de systèmes matériels et logiciels, tels que ceux de Google DeepMind et d'OpenAI, qui reposent sur des algorithmes d'apprentissage robustes.
Voir Aussi
- apprentissage automatique
- apprentissage profond
- réseau de neurones
- apprentissage supervisé
- minimisation du risque empirique
- dimension VC