abess (Adaptive Best Subset Selection, également ABESS) est une méthode de apprentissage automatique conçue pour résoudre le problème de la sélection du meilleur sous-ensemble dans la modélisation statistique. Étant donné un ensemble de données et une tâche de prédiction, elle détermine quelles caractéristiques ou variables sont cruciales pour une performance optimale du modèle. La méthode a été introduite par Zhu en 2020 et sélectionne dynamiquement la taille de modèle appropriée de manière adaptative, éliminant ainsi le besoin de choisir des paramètres de régularisation. abess est applicable à diverses tâches statistiques et d'apprentissage automatique, notamment la régression linéaire, le modèle à indice unique et d'autres modèles prédictifs courants, et peut également être appliquée en biostatistique.
L'innovation centrale d'abess réside dans sa capacité à effectuer une sélection du meilleur sous-ensemble sous une contrainte de norme L0 avec une complexité temporelle polynomiale, tout en fournissant des estimations non biaisées et cohérentes. Contrairement aux méthodes de régularisation traditionnelles qui nécessitent le réglage de paramètres de pénalité, abess détermine de manière adaptative la taille de l'ensemble de support grâce à un algorithme d'échange itératif, ce qui la rend particulièrement attrayante pour l'analyse de données à haute dimension.
Forme de base
La forme de base d'abess aborde le problème de la sélection du meilleur sous-ensemble dans la régression linéaire générale. Il s'agit d'une méthode L0 caractérisée par une complexité temporelle polynomiale et la propriété de fournir des estimations à la fois non biaisées et cohérentes. Dans le contexte de la régression linéaire, supposons que nous ayons connaissance de n échantillons indépendants (x_i, y_i), i = 1, ..., n, où x_i est un vecteur de dimension p et y_i est une réponse scalaire. Définissons X comme la matrice de conception n par p et y comme le vecteur de réponse de dimension n. Le modèle de régression linéaire générale est exprimé comme y = Xβ + ε, où β est le vecteur de coefficients et ε est le terme d'erreur.
Pour obtenir des paramètres β appropriés, on considère la fonction de perte pour la régression linéaire : L_n^LR(β; X, y) = (1/(2n)) ||y - Xβ||_2^2. Dans abess, l'attention initiale porte sur l'optimisation de cette fonction de perte sous la contrainte L0, en résolvant le problème : minimiser L_n^LR(β; X, y) sous la contrainte ||β||_0 ≤ s, où s représente la taille souhaitée de l'ensemble de support, et ||β||_0 = somme des indicateurs (β_i ≠ 0) est la norme L0 du vecteur.
Algorithme et concept de sacrifice
Pour résoudre le problème d'optimisation, abess échange de manière itérative un nombre égal de variables entre l'ensemble actif et l'ensemble inactif. À chaque itération, le concept de sacrifice est introduit. Pour chaque variable j dans l'ensemble actif, le sacrifice ξ_j est défini comme l'augmentation de la fonction de perte lorsque la variable j est retirée de l'ensemble actif : ξ_j = L_n^LR(β_hat_{A \ {j}}) - L_n^LR(β_hat_A), où A est l'ensemble actif courant et β_hat_A est le vecteur de coefficients estimé restreint à A.
L'algorithme procède en calculant les sacrifices pour toutes les variables de l'ensemble actif, puis en identifiant les variables avec les plus petits sacrifices (celles qui peuvent être retirées avec une augmentation minimale de la perte). Simultanément, il évalue les variables candidates de l'ensemble inactif qui pourraient être ajoutées. L'étape d'échange remplace les variables actives les moins importantes par les candidates inactives les plus prometteuses, en maintenant la taille de support s. Ce processus se poursuit jusqu'à convergence, généralement mesurée par le changement de la fonction de perte ou la stabilité de l'ensemble actif.
Sélection adaptative de la taille du modèle
Une caractéristique distinctive d'abess est sa sélection adaptative de la taille du modèle s, ce qui élimine le besoin de validation croisée ou de critères d'information pour choisir le nombre de variables. La méthode commence avec une petite taille de support et l'augmente progressivement tout en surveillant l'amélioration de la fonction de perte. Elle utilise un critère basé sur le compromis entre l'adéquation du modèle et la complexité du modèle, employant souvent un critère d'information bayésien modifié (BIC) ou une pénalité similaire qui s'adapte aux données.
Cette approche adaptative est efficace sur le plan computationnel car elle évite d'ajuster des modèles pour une grille de valeurs de s. Au lieu de cela, abess exploite le chemin des solutions à mesure que s augmente, en réutilisant les calculs des itérations précédentes. La taille finale du modèle est choisie lorsque l'amélioration marginale de l'adéquation tombe sous un seuil, ou lorsque le critère d'information atteint un minimum.
Propriétés théoriques
abess fournit plusieurs garanties théoriques qui la distinguent des autres méthodes de sélection de variables. Sous des conditions de régularité standard, la méthode atteint la cohérence de l'estimation et la cohérence de la sélection de variables, ce qui signifie que les coefficients estimés convergent vers les valeurs réelles et que l'ensemble de support sélectionné correspond à l'ensemble actif réel avec une probabilité tendant vers un à mesure que la taille de l'échantillon augmente. La complexité temporelle polynomiale est un avantage significatif par rapport à la sélection exhaustive du meilleur sous-ensemble, qui est NP-difficile en général.
La propriété de non-biais découle du fait que la pénalité L0 ne réduit pas les coefficients des variables sélectionnées, contrairement aux méthodes basées sur L1 telles que le lasso, qui introduisent un biais par réduction. Cela rend abess particulièrement attrayante lorsque des estimations non biaisées des coefficients sont importantes pour l'interprétation ou l'inférence en aval.
Applications en régression et au-delà
abess est applicable à une large gamme de modèles statistiques au-delà de la régression linéaire. Dans le contexte du modèle à indice unique, abess peut être étendue pour sélectionner les covariables pertinentes tout en estimant la fonction de lien inconnue. La méthode a été adaptée pour les modèles linéaires généralisés, y compris la régression logistique et de Poisson, où la fonction de perte est modifiée en conséquence. En biostatistique, abess a été utilisée pour la découverte de biomarqueurs, où l'identification d'un petit ensemble de gènes prédictifs ou de variables cliniques est cruciale.
La méthode gère également les contextes à haute dimension où le nombre de prédicteurs p peut largement dépasser la taille de l'échantillon n. Dans de tels scénarios, le mécanisme de sélection adaptative et l'algorithme d'échange maintiennent la faisabilité computationnelle tout en fournissant une sélection de variables fiable.
Implémentation logicielle
La méthode abess est implémentée dans un package R open source, également nommé abess, qui fournit des fonctions pour la régression linéaire, la régression logistique et d'autres modèles. Le package inclut un code C++ efficace pour l'algorithme de base, ce qui le rend adapté aux ensembles de données à grande échelle. Les utilisateurs peuvent spécifier la taille de support maximale ou laisser la procédure adaptative la déterminer automatiquement. Le package offre également des outils de visualisation pour le chemin de solutions et des graphiques de diagnostic.
Comparaison avec d'autres méthodes
Comparée aux approches basées sur la régularisation comme le lasso et le filet élastique, abess offre l'avantage d'estimations non biaisées et d'une sélection automatique de la taille du modèle sans paramètres de réglage. Cependant, elle peut être plus intensive sur le plan computationnel que le lasso pour des p très grands, bien que la complexité temporelle polynomiale atténue cette préoccupation. Comparée aux algorithmes gloutons comme la poursuite d'appariement orthogonal, abess fournit un mécanisme d'échange plus fondé qui peut échapper aux optima locaux.
Limites et extensions
Bien qu'abess soit puissante, elle suppose que le modèle linéaire ou ses extensions sont valides et que la contrainte L0 est appropriée pour le problème. Pour des relations hautement non linéaires, des extensions utilisant des expansions de base ou des méthodes à noyau peuvent être nécessaires. La recherche se poursuit sur l'extension d'abess à des modèles plus complexes, y compris les architectures de apprentissage profond et les contextes de réseaux de neurones, où la sélection de caractéristiques est intégrée au processus d'entraînement.
Voir aussi
Références
Zhu, J. (2020). abess : Adaptive Best Subset Selection. (Article d'introduction original)
Liens externes
- Package R abess sur CRAN (non lié ici conformément aux directives)