L'agrégation bootstrap, communément appelée bagging, est une méthode d'apprentissage ensembliste en apprentissage automatique conçue pour améliorer la précision et la robustesse des modèles prédictifs. Elle fonctionne en générant plusieurs échantillons bootstrap (sous-ensembles aléatoires avec remise) à partir de l'ensemble d'entraînement original, en entraînant un modèle de base distinct sur chaque échantillon, puis en agrégeant leurs prédictions. Pour les tâches de régression, la prédiction finale est généralement la moyenne des sorties de tous les modèles de base ; pour la classification, il s'agit du vote majoritaire. Le bagging réduit principalement la variance, contribuant à atténuer le surapprentissage, et est particulièrement efficace pour les algorithmes à forte variance comme les arbres de décision.
La technique a été introduite par Leo Breiman en 1994 dans son article « Bagging Predictors ». C'est un concept fondateur de l'apprentissage ensembliste, distinct du boosting (qui corrige séquentiellement les erreurs) et de l'empilement (qui combine des modèles divers via un méta-apprenant). Le bagging est largement utilisé en pratique, notamment comme cœur des forêts aléatoires, où il est combiné avec un sous-échantillonnage des caractéristiques. Sa simplicité et son efficacité en ont fait un outil standard dans la recherche académique comme dans les applications industrielles, de la finance à la santé.
Développement historique
Le bagging est issu des recherches plus larges en statistique et en apprentissage automatique du début des années 1990, une période marquée par un intérêt croissant pour la combinaison de plusieurs modèles afin d'améliorer la généralisation. Leo Breiman, statisticien à l'université de Californie à Berkeley, a formalisé l'approche en 1994, en s'appuyant sur les travaux antérieurs de Bradley Efron sur les méthodes bootstrap. Breiman a démontré à la fois théoriquement et empiriquement que la moyenne des prédictions de modèles entraînés sur des ensembles de données perturbés pouvait réduire l'erreur, en particulier pour les apprenants instables dont les sorties changent considérablement avec de petites variations des données.
La méthode a rapidement gagné en popularité après l'introduction des forêts aléatoires par Breiman en 2001, qui ont étendu le bagging en sélectionnant également aléatoirement un sous-ensemble de caractéristiques pour chaque division dans les arbres de décision. Cette innovation a encore décorrélé les modèles de base, conduisant à des gains de performance substantiels. Depuis lors, le bagging a été intégré dans de nombreuses bibliothèques logicielles, notamment scikit-learn, le package randomForest de R et TensorFlow Decision Forests, le rendant accessible aux praticiens du monde entier.
Détails algorithmiques
L'algorithme de bagging procède de manière simple. Étant donné un ensemble d'entraînement de taille n, le processus génère B échantillons bootstrap, chacun de taille n, tirés uniformément avec remise. Cela signifie que certaines instances originales peuvent apparaître plusieurs fois dans un échantillon, tandis que d'autres sont omises (environ 63,2 % des instances uniques apparaissent dans un échantillon donné, le reste étant des doublons). Pour chaque échantillon, un modèle de base est entraîné indépendamment, souvent en utilisant le même algorithme et les mêmes hyperparamètres. Les modèles de base peuvent être des arbres de décision, des réseaux de neurones ou d'autres apprenants.
L'agrégation dépend de la tâche. Pour la régression, les prédictions sont moyennées : \( \hat{f}(x) = \frac{1}{B} \sum_{b=1}^{B} \hat{f}_b(x) \). Pour la classification, la classe finale est déterminée par vote majoritaire parmi les modèles de base. Le nombre d'échantillons bootstrap B est un hyperparamètre clé ; les valeurs typiques vont de 50 à 500, avec des rendements décroissants au-delà de quelques centaines. Le bagging ne nécessite pas de validation croisée pour les modèles de base, car les échantillons hors sac (les instances non incluses dans un échantillon bootstrap donné) peuvent être utilisés pour estimer l'erreur de généralisation sans ensemble de validation séparé.
Fondements théoriques
L'efficacité du bagging provient de la réduction de la variance. Pour un modèle de base avec une variance de prédiction \( \sigma^2 \) et une corrélation par paire \( \rho \) entre les modèles, la variance de la moyenne de l'ensemble est approximativement \( \rho \sigma^2 + (1-\rho)\sigma^2/B \). Lorsque B augmente, le second terme disparaît, laissant \( \rho \sigma^2 \). Ainsi, le bagging fonctionne mieux lorsque les modèles de base sont instables (forte variance) mais pas trop corrélés. Les arbres de décision sont idéaux car de petites perturbations des données conduisent à des divisions différentes, mais la structure globale reste suffisamment similaire pour maintenir une corrélation modérée.
L'analyse originale de Breiman a montré que le bagging peut réduire l'erreur quadratique moyenne pour la régression et le taux de mauvaise classification pour la classification, à condition que l'apprenant de base soit instable. Il n'aide pas significativement les apprenants stables comme la régression linéaire, où la variance est déjà faible. La méthode fournit également un mécanisme naturel pour l'estimation de l'incertitude grâce à la dispersion des prédictions des modèles de base, qui peut être utilisée pour construire des intervalles de prédiction.
Applications pratiques
Le bagging est appliqué dans divers domaines. En finance, il est utilisé pour le score de crédit et la détection de fraude, où la réduction des faux positifs est cruciale. Dans le domaine de la santé, les arbres de décision baggés aident à prédire les résultats des patients et à diagnostiquer des maladies à partir de dossiers de santé électroniques. En télédétection, les forêts aléatoires (une variante du bagging) classifient l'occupation du sol à partir d'images satellite. La méthode est également courante en traitement du langage naturel pour la classification de textes, bien que les modèles d'apprentissage profond s'appuient souvent sur d'autres techniques de régularisation.
Une application notable se trouve dans les méthodes ensemblistes pour les compétitions d'apprentissage automatique, où le bagging est fréquemment combiné avec le boosting ou utilisé comme étape finale pour stabiliser les prédictions. Par exemple, dans le prix Netflix et les compétitions Kaggle, les participants baggent souvent leurs meilleurs modèles pour obtenir de petits gains de précision. Dans l'industrie, des entreprises comme Amazon Web Services et Google Cloud proposent des services gérés qui incluent des implémentations du bagging, permettant un entraînement de modèles à grande échelle sans orchestration manuelle.
Limites et extensions
Le bagging présente plusieurs limites. Il ne réduit pas le biais ; si le modèle de base est systématiquement sous-ajusté, le bagging ne corrigera pas cela. Il augmente également le coût de calcul linéairement avec le nombre de modèles de base, bien que l'entraînement puisse être facilement parallélisé puisque chaque modèle est indépendant. L'utilisation de la mémoire peut être élevée lors du stockage de nombreux modèles. De plus, le bagging est moins efficace pour les très grands ensembles de données où un seul modèle généralise déjà bien, ou pour les algorithmes stables comme les machines à vecteurs de support linéaires.
Des extensions répondent à certains de ces problèmes. Les forêts aléatoires ajoutent un sous-échantillonnage des caractéristiques pour décorréler davantage les arbres. Le pasting (ou subbagging) entraîne sur des échantillons aléatoires plus petits sans remise, réduisant la charge de calcul. Le bragging (agrégation bootstrap avec boosting par gradient) combine le bagging avec le boosting pour une meilleure précision. Pour les réseaux de neurones, une technique connexe appelée ensembles profonds entraîne plusieurs réseaux avec des initialisations aléatoires différentes, appliquant efficacement le bagging au niveau des poids. Ces variantes soulignent l'influence durable de l'idée originale de Breiman sur l'apprentissage ensembliste moderne.