Le boosting par gradient est une technique d'apprentissage automatique utilisée pour les tâches de régression et de classification. Elle appartient à la famille des méthodes de boosting, qui combinent plusieurs modèles de prédiction faibles en un seul modèle fort. Contrairement au boosting traditionnel, qui ajuste les modèles aux résidus, le boosting par gradient opère dans un espace fonctionnel et cible des pseudo-résidus, permettant l'optimisation d'une fonction de perte différentiable arbitraire. Lorsque les apprenants faibles sont des arbres de décision, l'algorithme résultant est appelé arbres à boosting par gradient, qui surpassent généralement les forêts aléatoires en précision prédictive.
La méthode produit un modèle de prédiction comme un ensemble de modèles faibles, généralement de simples arbres de décision qui font peu d'hypothèses sur les données. Le modèle est construit de manière itérative, chaque nouveau composant corrigeant les erreurs de l'ensemble précédent. Cette approche généralise les algorithmes de boosting antérieurs et est devenue une pierre angulaire de l'apprentissage automatique moderne, largement utilisée dans l'industrie et la recherche.
Histoire
Le fondement conceptuel du boosting par gradient remonte à l'observation de Leo Breiman selon laquelle le boosting peut être interprété comme un algorithme d'optimisation sur une fonction de coût. Des algorithmes explicites de boosting par gradient pour la régression ont été développés par Jerome H. Friedman en 1999 et affinés en 2001. Simultanément, Llew Mason, Jonathan Baxter, Peter Bartlett et Marcus Frean ont introduit une perspective plus générale de boosting par gradient fonctionnel. Leurs travaux ont encadré les algorithmes de boosting comme une descente de gradient fonctionnelle itérative, où une fonction de coût est optimisée sur un espace de fonctions en sélectionnant des hypothèses faibles qui pointent dans la direction du gradient négatif. Cette perspective a stimulé le développement de méthodes de boosting dans de nombreux domaines de l'apprentissage automatique et des statistiques, s'étendant bien au-delà de la régression et de la classification.
Aperçu de l'algorithme
Le boosting par gradient construit un modèle en M étapes. À chaque étape m, le modèle courant F_m est amélioré en ajoutant un nouvel estimateur h_m. Pour la régression par moindres carrés, l'objectif est de minimiser l'erreur quadratique moyenne sur un ensemble d'entraînement de taille n. Initialement, F_1 peut simplement prédire la moyenne des valeurs cibles. À chaque étape suivante, l'algorithme calcule le résidu, qui est la différence entre la valeur observée et la prédiction courante. Il ajuste ensuite un apprenant faible, généralement un arbre de décision peu profond, à ces résidus. Le modèle mis à jour devient F_{m+1}(x) = F_m(x) + h_m(x). Ce processus se répète jusqu'à ce que le nombre souhaité d'étapes soit atteint ou que la performance plafonne.
Pour les fonctions de perte générales, l'algorithme utilise des pseudo-résidus, qui sont les gradients négatifs de la fonction de perte par rapport aux prédictions du modèle. Cela permet à la méthode de gérer diverses tâches, y compris la classification avec une perte logistique ou le classement avec des pertes par paires.
Arbres à boosting par gradient
Lorsque des arbres de décision sont utilisés comme apprenants faibles, l'algorithme est connu sous le nom d'arbres à boosting par gradient. Chaque arbre est généralement petit, souvent avec un nombre limité de feuilles, pour maintenir le modèle interprétable et éviter le surapprentissage. Les arbres sont ajoutés séquentiellement, chaque arbre se concentrant sur les erreurs laissées par l'ensemble précédent. Cette approche donne souvent des résultats de pointe sur les données tabulaires, surpassant les forêts aléatoires et parfois même les modèles d'apprentissage profond dans les tâches de données structurées.
Les hyperparamètres clés incluent le nombre d'arbres, la profondeur maximale de chaque arbre, le taux d'apprentissage (qui réduit la contribution de chaque arbre) et les ratios de sous-échantillonnage pour le boosting par gradient stochastique. Des techniques de régularisation, telles que les pénalités L1 et L2, sont également couramment appliquées aux poids des feuilles.
Applications et implémentations
Le boosting par gradient a été appliqué avec succès dans de nombreux domaines, notamment le scoring de crédit, la prédiction du taux de clic, le classement de recherche et la bioinformatique. Les bibliothèques open source populaires incluent XGBoost, LightGBM et CatBoost, qui fournissent des implémentations optimisées avec un entraînement parallèle et un support GPU. Ces outils ont rendu le boosting par gradient accessible aux praticiens et ont été largement adoptés dans les compétitions et les systèmes de production.
La flexibilité de la méthode et ses performances prédictives solides en ont fait une référence standard dans les flux de travail d'apprentissage automatique, rivalisant souvent avec les modèles de réseaux de neurones sur les données structurées.
Relation avec d'autres méthodes
Le boosting par gradient est lié à d'autres méthodes d'ensemble comme les forêts aléatoires et AdaBoost. Cependant, il diffère par son approche séquentielle et sa capacité à optimiser des fonctions de perte arbitraires. Alors que les forêts aléatoires construisent des arbres indépendamment et moyennent leurs prédictions, le boosting par gradient construit des arbres séquentiellement, chacun corrigeant les erreurs précédentes. Cela conduit souvent à une précision plus élevée mais nécessite un réglage minutieux pour éviter le surapprentissage.
La perspective du gradient fonctionnel relie également le boosting par gradient à l'optimisation dans l'espace des fonctions, un concept qui a influencé d'autres domaines tels que l'intelligence artificielle et l'apprentissage statistique. Les chercheurs ont étendu l'idée aux problèmes multi-sorties, à l'analyse de survie et même à l'entraînement des réseaux de neurones, où des idées similaires au boosting apparaissent dans l'apprentissage résiduel.
Limites et considérations
Malgré ses forces, le boosting par gradient a des limites. Il peut être sensible aux données bruitées et aux valeurs aberrantes, et il peut surapprendre si le nombre d'arbres est trop grand ou si les arbres sont trop profonds. L'entraînement peut être intensif en calcul, surtout avec de grands ensembles de données, bien que les implémentations modernes atténuent cela avec des algorithmes efficaces et une accélération matérielle. L'interprétabilité est plus faible que celle d'un seul arbre de décision, bien que les mesures d'importance des caractéristiques et les graphiques de dépendance partielle puissent fournir des informations.
Comme pour de nombreuses techniques d'apprentissage automatique, le choix des hyperparamètres et de la fonction de perte affecte considérablement les performances, et les praticiens s'appuient souvent sur la validation croisée pour régler le modèle.