La validation croisée, parfois appelée estimation par rotation ou test hors échantillon, est une famille de techniques de validation de modèles visant à évaluer comment les résultats d'une analyse statistique se généraliseront à un ensemble de données indépendant. Il s'agit d'une méthode de rééchantillonnage qui utilise différentes portions des données pour entraîner et tester un modèle à différentes itérations. La validation croisée est couramment utilisée dans les contextes de prédiction pour estimer avec quelle précision un modèle prédictif fonctionnera en pratique, et elle peut également évaluer la qualité d'un modèle ajusté et la stabilité de ses paramètres.
Dans un problème de prédiction typique, un modèle est entraîné sur un ensemble de données connu (l'ensemble d'entraînement), puis testé sur un ensemble de données non vues (l'ensemble de validation ou de test). L'objectif est de mesurer la capacité du modèle à prédire de nouvelles données qui n'ont pas été utilisées dans l'estimation, signalant ainsi des problèmes tels que le sur-apprentissage ou le biais de sélection, et fournissant un aperçu de la manière dont le modèle se généralisera à un ensemble de données indépendant. Un cycle de validation croisée consiste à partitionner l'échantillon en sous-ensembles complémentaires : le modèle est ajusté sur un sous-ensemble (ensemble d'entraînement) et validé sur l'autre (ensemble de validation). Pour réduire la variabilité, la plupart des méthodes effectuent plusieurs cycles avec différentes partitions, et les résultats de validation sont moyennés sur les cycles pour obtenir une estimation plus précise de la performance prédictive.
Motivation
Considérons un modèle avec un ou plusieurs paramètres inconnus et un ensemble de données auquel le modèle peut être ajusté. Le processus d'ajustement optimise les paramètres pour que le modèle s'adapte le mieux possible aux données d'entraînement. Si un échantillon indépendant de données de validation est prélevé dans la même population, le modèle ne s'adaptera généralement pas aussi bien aux données de validation qu'aux données d'entraînement. Cet écart est particulièrement important lorsque l'ensemble d'entraînement est petit ou lorsque le nombre de paramètres est élevé. La validation croisée offre un moyen d'estimer l'ampleur de cet effet, ce qui est crucial pour comprendre la performance du modèle.
Exemple : Régression linéaire
En régression linéaire, supposons qu'il existe des valeurs de réponse réelles \(y_1, \ldots, y_n\) et \(n\) vecteurs de covariables p-dimensionnels \(\mathbf{x}_1, \ldots, \mathbf{x}_n\), où chaque \(\mathbf{x}_i\) a des composantes \(x_{i1}, \ldots, x_{ip}\). En utilisant les moindres carrés pour ajuster un hyperplan \(\hat{y} = a + \boldsymbol{\beta}^T \mathbf{x}\) aux données, l'erreur quadratique moyenne (EQM) sur l'ensemble d'entraînement est définie comme :
\[
\text{EQM} = \frac{1}{n} \sum_{i=1}^n (y_i - \hat{y}_i)^2 = \frac{1}{n} \sum_{i=1}^n (y_i - a - \boldsymbol{\beta}^T \mathbf{x}_i)^2.
\]
Si le modèle est correctement spécifié, l'EQM d'entraînement tend à sous-estimer la véritable erreur de prédiction car le modèle a été optimisé pour s'adapter aux données d'entraînement. La validation croisée aide à corriger cet optimisme en évaluant le modèle sur des données exclues.
Méthodes courantes
Plusieurs techniques de validation croisée existent, différant par la manière dont elles partitionnent les données.
Validation croisée k-fold
Dans la validation croisée k-fold, l'échantillon original est partitionné aléatoirement en \(k\) sous-échantillons de taille égale. Parmi ceux-ci, \(k-1\) sous-échantillons sont utilisés comme données d'entraînement, et le sous-échantillon restant est utilisé comme données de validation. Le processus est répété \(k\) fois, chaque sous-échantillon étant utilisé exactement une fois comme données de validation. Les \(k\) résultats sont ensuite moyennés pour produire une estimation unique. Les choix typiques pour \(k\) sont 5 ou 10, équilibrant le biais et la variance. Un cas particulier est la validation croisée leave-one-out (LOOCV), où \(k\) est égal au nombre de points de données, ce qui signifie que chaque observation est utilisée une fois comme ensemble de validation.
Validation croisée leave-one-out (LOOCV)
La LOOCV est une forme extrême de validation croisée k-fold où chaque ensemble d'entraînement est constitué de toutes les observations sauf une, et l'ensemble de validation est cette seule observation. Cette méthode est coûteuse en calcul pour les grands ensembles de données, mais fournit une estimation presque sans biais de l'erreur de prédiction, bien qu'elle puisse avoir une variance élevée.
Sous-échantillonnage aléatoire répété
Également connue sous le nom de validation croisée de Monte Carlo, cette méthode divise aléatoirement les données en ensembles d'entraînement et de validation plusieurs fois, avec remplacement. L'erreur de prédiction est moyennée sur les divisions. Cette approche ne garantit pas que chaque observation soit utilisée pour la validation exactement une fois, mais elle peut être utile lorsque la taille des données est grande.
Validation croisée stratifiée
Dans les problèmes de classification avec des classes déséquilibrées, la validation croisée stratifiée garantit que chaque pli maintient les mêmes proportions de classes que l'ensemble de données original. Cela évite qu'un pli ne manque d'une classe particulière, ce qui pourrait conduire à des estimations de performance trompeuses.
Applications
La validation croisée est largement utilisée dans apprentissage automatique et intelligence artificielle pour la sélection de modèles et le réglage des hyperparamètres. Par exemple, lors de l'entraînement de réseaux de neurones ou de grands modèles de langage, les praticiens utilisent la validation croisée pour choisir le nombre de couches, les taux d'apprentissage ou les paramètres de régularisation. Elle est également utilisée dans apprentissage profond pour comparer des architectures et dans les modèles basés sur transformers pour évaluer la généralisation avant le déploiement.
Au-delà de la prédiction, la validation croisée aide à évaluer la stabilité des paramètres du modèle. Si les paramètres d'un modèle varient considérablement entre les différents plis d'entraînement, cela indique une instabilité et un potentiel sur-apprentissage. Cela est particulièrement important dans des domaines comme IA générative, où les modèles doivent se généraliser à des entrées réelles diverses.
Limites et considérations
La validation croisée présente plusieurs limites. Elle peut être coûteuse en calcul, surtout avec de grands ensembles de données et des modèles complexes, car elle nécessite un entraînement répété. Pour les données de séries temporelles, la validation croisée standard est inappropriée car la division aléatoire viole l'ordre temporel ; à la place, des techniques comme le chaînage avant sont utilisées. De plus, la validation croisée estime l'erreur de prédiction attendue pour une taille d'ensemble d'entraînement donnée, mais elle ne tient pas pleinement compte de la variabilité due à la division aléatoire, ce qui peut entraîner une variance élevée dans l'estimation lorsque l'ensemble de données est petit.
Une autre considération est que la validation croisée suppose que les données sont indépendantes et identiquement distribuées (i.i.d.). En pratique, s'il existe un regroupement ou une corrélation dans les données, les résultats de validation peuvent être trop optimistes. Des méthodes comme la validation croisée groupée peuvent résoudre ce problème en garantissant que toutes les observations d'un groupe sont conservées ensemble dans l'ensemble d'entraînement ou de validation.
Relation avec le sur-apprentissage
Le sur-apprentissage se produit lorsqu'un modèle apprend le bruit dans les données d'entraînement plutôt que le modèle sous-jacent, conduisant à de mauvaises performances sur de nouvelles données. La validation croisée est un outil principal pour détecter le sur-apprentissage : si l'erreur de validation est significativement plus élevée que l'erreur d'entraînement, le modèle est probablement en sur-apprentissage. En moyennant sur plusieurs divisions, la validation croisée fournit une estimation plus fiable de l'erreur de généralisation qu'une seule division entraînement-test, aidant les praticiens à éviter de sélectionner des modèles trop complexes.
Contexte historique
Le concept de validation croisée a des racines dans les statistiques remontant aux années 1930, avec des travaux précoces de Seymour Geisser et d'autres. Il est devenu plus important avec l'essor des statistiques computationnelles et du apprentissage automatique à la fin du 20e siècle. Des chercheurs comme Thomas Dietterich et Michael Jordan ont contribué à sa compréhension théorique et à ses applications pratiques. Aujourd'hui, la validation croisée est un outil standard dans la boîte à outils des scientifiques des données et est implémentée dans la plupart des bibliothèques statistiques et d'apprentissage automatique.
Voir aussi
- apprentissage automatique
- intelligence artificielle
- apprentissage profond
- réseau de neurones
- grand modèle de langage
- transformers
- IA générative
- sur-apprentissage (si disponible)
Références
- Geisser, S. (1975). The predictive sample reuse method with applications. Journal of the American Statistical Association.
- Stone, M. (1974). Cross-validatory choice and assessment of statistical predictions. Journal of the Royal Statistical Society.
- Kohavi, R. (1995). A study of cross-validation and bootstrap for accuracy estimation and model selection. International Joint Conference on Artificial Intelligence.