La minimisation du risque empirique (MRE) est un principe fondamental de l'apprentissage automatique qui guide la sélection d'un modèle prédictif en minimisant la perte moyenne calculée sur un ensemble fini d'exemples d'entraînement. Elle formalise l'idée intuitive d'ajuster un modèle aux données observées et sous-tend de nombreux algorithmes utilisés dans l'apprentissage profond et d'autres approches d'apprentissage statistique. Le concept a été articulé dans les années 1960 par des statisticiens et des informaticiens, notamment dans les travaux de Vapnik et Chervonenkis, qui ont également développé le cadre théorique pour comprendre quand la MRE est efficace.
Dans la MRE, l'objectif est de trouver une fonction dans un espace d'hypothèses prédéfini qui minimise le risque empirique, défini comme la moyenne d'une fonction de perte sur les données d'entraînement. Cela contraste avec l'idéal de minimiser le risque attendu, qui nécessite la connaissance de la véritable distribution sous-jacente des données. Comme cette distribution est inconnue, la MRE utilise l'échantillon d'entraînement comme substitut. La différence entre le risque empirique et le risque attendu est une préoccupation centrale de la théorie de l'apprentissage statistique, conduisant à des bornes qui dépendent de la complexité de l'espace d'hypothèses et du nombre d'exemples d'entraînement.
Définition formelle
Étant donné un ensemble d'entraînement de \(n\) échantillons indépendants et identiquement distribués \((x_i, y_i)\), une fonction de perte \(L(\hat{y}, y)\) qui mesure le coût de la prédiction \(\hat{y}\) lorsque la valeur réelle est \(y\), et un espace d'hypothèses \(\mathcal{H}\) de fonctions candidates, le risque empirique est :
\[ R_{\text{emp}}(h) = \frac{1}{n} \sum_{i=1}^n L(h(x_i), y_i) \]
Le minimiseur du risque empirique est l'hypothèse \(\hat{h}\) qui minimise \(R_{\text{emp}}(h)\) sur tout \(h \in \mathcal{H}\). C'est un problème d'optimisation en dimension finie, souvent résolu à l'aide de méthodes itératives telles que l'optimiseur Adam ou d'autres variantes de SGD dans la pratique moderne.
Contexte historique
La formalisation de la MRE est attribuée à Vladimir Vapnik et Alexey Chervonenkis dans les années 1960, qui ont introduit le concept de dimension VC pour caractériser la capacité des espaces d'hypothèses. Leurs travaux ont jeté les bases de la théorie de l'apprentissage statistique, qui fournit des conditions sous lesquelles la MRE est cohérente, c'est-à-dire que lorsque la taille de l'échantillon augmente, le minimiseur du risque empirique se rapproche du meilleur modèle possible dans l'espace d'hypothèses. Ces fondements théoriques ont ensuite été popularisés dans la communauté de l'apprentissage automatique à travers des manuels et des cours, et ils restent une pierre angulaire du domaine.
Relation avec d'autres principes d'apprentissage
La MRE est étroitement liée à d'autres paradigmes d'apprentissage. Par exemple, l'estimation par maximum de vraisemblance peut être considérée comme un cas particulier de la MRE lorsque la fonction de perte est la log-vraisemblance négative. Les techniques de régularisation, comme la décroissance du poids, modifient l'objectif de la MRE en ajoutant un terme de pénalité pour contrôler la complexité du modèle, conduisant à un compromis entre l'ajustement aux données d'entraînement et la généralisation. En revanche, l'inférence bayésienne traite les paramètres du modèle comme des variables aléatoires et met à jour les croyances en fonction des données, ce qui peut être vu comme une approche plus complète que l'estimation ponctuelle via la MRE.
Dans l'apprentissage profond moderne, la MRE est l'objectif d'entraînement par défaut pour la plupart des modèles de réseau de neurones, y compris les architectures basées sur les transformeurs utilisées dans les modèles de langage de grande taille. Cependant, l'échelle massive des modèles et des données a conduit à des défis pratiques, tels que le surapprentissage et la nécessité d'une régularisation soignée. Des techniques comme le Dropout, la normalisation par lots et l'augmentation de données sont souvent employées pour améliorer la généralisation au-delà de ce que la MRE simple atteindrait.
Considérations pratiques
En pratique, la MRE est implémentée à l'aide d'une optimisation basée sur le gradient. Le choix de la fonction de perte dépend de la tâche : des fonctions de perte telles que l'erreur quadratique moyenne pour la régression et l'entropie croisée pour la classification sont courantes. Le processus d'optimisation implique de mettre à jour itérativement les paramètres du modèle pour réduire le risque empirique, souvent en utilisant des variantes de la descente de gradient stochastique. Les hyperparamètres clés incluent le taux d'apprentissage, qui peut être ajusté via un plan de taux d'apprentissage, et la taille du lot. Le clipping de gradient est parfois utilisé pour prévenir les gradients explosifs, en particulier dans les réseaux récurrents.
Un problème majeur avec la MRE est le surapprentissage, où le modèle performe bien sur les données d'entraînement mais mal sur les données non vues. Cela est particulièrement prononcé lorsque l'espace d'hypothèses est grand par rapport à la taille de l'échantillon. Pour atténuer cela, les praticiens utilisent la régularisation, l'arrêt précoce et la validation croisée. Une autre préoccupation est que la MRE suppose que les données d'entraînement sont représentatives de la véritable distribution ; si cette hypothèse est violée, le modèle résultant peut être biaisé.
Aperçus théoriques
La théorie de l'apprentissage statistique fournit des bornes sur l'erreur de généralisation de la MRE. Pour un espace d'hypothèses fini, la différence entre le risque empirique et le risque attendu peut être bornée en utilisant l'inégalité de Hoeffding. Pour les espaces d'hypothèses infinis, la dimension VC joue un rôle crucial. Ces bornes augmentent généralement avec la complexité de l'espace d'hypothèses et diminuent avec le nombre d'exemples d'entraînement. Cependant, dans l'apprentissage profond moderne, le nombre de paramètres dépasse souvent le nombre de points d'entraînement, et pourtant les modèles généralisent bien, un phénomène qui a suscité de nouvelles investigations théoriques.
Des travaux récents ont exploré pourquoi les modèles surparamétrés entraînés avec la MRE peuvent généraliser, conduisant à des concepts tels que la régularisation implicite et l'hypothèse du billet de loterie. Ces aperçus n'ont pas encore produit une théorie complète, mais ils mettent en évidence l'écart entre la théorie classique de l'apprentissage et la pratique contemporaine.