abess (Adaptive Best Subset Selection, auch ABESS) ist eine maschinelles Lernen-Methode, die entwickelt wurde, um das Problem der besten Teilmengenauswahl in der statistischen Modellierung zu adressieren. Bei einem gegebenen Datensatz und einer Vorhersageaufgabe bestimmt sie, welche Merkmale oder Variablen für eine optimale Modellleistung entscheidend sind. Die Methode wurde 2020 von Zhu eingeführt und wählt die geeignete Modellgröße dynamisch und adaptiv aus, wodurch die Notwendigkeit entfällt, Regularisierungsparameter auszuwählen. abess ist in verschiedenen statistischen und maschinellen Lernaufgaben anwendbar, einschließlich linearer Regression, des Single-Index-Modells und anderer gängiger Vorhersagemodelle, und kann auch in der Biostatistik eingesetzt werden.
Die Kerninnovation von abess liegt in seiner Fähigkeit, die beste Teilmengenauswahl unter einer L0-Norm-Beschränkung mit polynomialer Zeitkomplexität durchzuführen, während es unverzerrte und konsistente Schätzungen liefert. Im Gegensatz zu traditionellen Regularisierungsmethoden, die das Abstimmen von Straftermen erfordern, bestimmt abess die Größe der Trägermenge adaptiv durch einen iterativen Austauschalgorithmus, was es besonders attraktiv für die Analyse hochdimensionaler Daten macht.
Grundform
Die Grundform von abess adressiert das Problem der optimalen Teilmengenauswahl in der allgemeinen linearen Regression. Es ist eine L0-Methode, die durch polynomiale Zeitkomplexität und die Eigenschaft gekennzeichnet ist, sowohl unverzerrte als auch konsistente Schätzungen zu liefern. Im Kontext der linearen Regression nehmen wir an, dass wir Kenntnis von n unabhängigen Stichproben (x_i, y_i), i = 1, ..., n, haben, wobei x_i ein p-dimensionaler Vektor und y_i eine skalare Antwort ist. Definiere X als die n-mal-p-Designmatrix und y als den n-dimensionalen Antwortvektor. Das allgemeine lineare Regressionsmodell wird als y = Xβ + ε ausgedrückt, wobei β der Koeffizientenvektor und ε der Fehlerterm ist.
Um geeignete Parameter β zu erhalten, betrachtet man die Verlustfunktion für die lineare Regression: L_n^LR(β; X, y) = (1/(2n)) ||y - Xβ||_2^2. Bei abess liegt der anfängliche Fokus darauf, diese Verlustfunktion unter der L0-Beschränkung zu optimieren, indem das Problem gelöst wird: Minimiere L_n^LR(β; X, y) unter der Bedingung ||β||_0 ≤ s, wobei s die gewünschte Größe der Trägermenge darstellt und ||β||_0 = Summe der Indikatoren (β_i ≠ 0) die L0-Norm des Vektors ist.
Algorithmus und Opferkonzept
Um das Optimierungsproblem zu adressieren, tauscht abess iterativ eine gleiche Anzahl von Variablen zwischen der aktiven Menge und der inaktiven Menge aus. In jeder Iteration wird das Konzept des Opfers eingeführt. Für jede Variable j in der aktiven Menge ist das Opfer ξ_j definiert als der Anstieg der Verlustfunktion, wenn Variable j aus der aktiven Menge entfernt wird: ξ_j = L_n^LR(β_hat_{A \ {j}}) - L_n^LR(β_hat_A), wobei A die aktuelle aktive Menge und β_hat_A der geschätzte Koeffizientenvektor, beschränkt auf A, ist.
Der Algorithmus berechnet Opfer für alle Variablen in der aktiven Menge und identifiziert dann die Variablen mit den kleinsten Opfern (diejenigen, die mit minimalem Verlustanstieg entfernt werden können). Gleichzeitig bewertet er Kandidatenvariablen aus der inaktiven Menge, die hinzugefügt werden könnten. Der Austauschschritt ersetzt die am wenigsten wichtigen aktiven Variablen durch die vielversprechendsten inaktiven Kandidaten, wobei die Trägergröße s beibehalten wird. Dieser Prozess wird fortgesetzt, bis Konvergenz erreicht ist, typischerweise gemessen an der Änderung der Verlustfunktion oder der Stabilität der aktiven Menge.
Adaptive Modellgrößenauswahl
Ein besonderes Merkmal von abess ist die adaptive Auswahl der Modellgröße s, wodurch die Notwendigkeit von Kreuzvalidierung oder Informationskriterien zur Auswahl der Anzahl der Variablen entfällt. Die Methode beginnt mit einer kleinen Trägergröße und erhöht diese schrittweise, während sie die Verbesserung der Verlustfunktion überwacht. Sie verwendet ein Kriterium, das auf dem Kompromiss zwischen Anpassungsgüte und Modellkomplexität basiert, und nutzt oft ein modifiziertes Bayessches Informationskriterium (BIC) oder eine ähnliche Strafe, die sich an die Daten anpasst.
Dieser adaptive Ansatz ist rechnerisch effizient, da er das Anpassen von Modellen für ein Raster von s-Werten vermeidet. Stattdessen nutzt abess den Pfad der Lösungen, wenn s zunimmt, und verwendet Berechnungen aus früheren Iterationen wieder. Die endgültige Modellgröße wird gewählt, wenn die marginale Verbesserung der Anpassung unter einen Schwellenwert fällt oder wenn das Informationskriterium ein Minimum erreicht.
Theoretische Eigenschaften
abess bietet mehrere theoretische Garantien, die es von anderen Variablenauswahlmethoden unterscheiden. Unter standardmäßigen Regularitätsbedingungen erreicht die Methode Schätzkonsistenz und Variablenauswahlkonsistenz, was bedeutet, dass die geschätzten Koeffizienten gegen die wahren Werte konvergieren und die ausgewählte Trägermenge mit der wahren aktiven Menge mit Wahrscheinlichkeit, die gegen eins tendiert, wenn die Stichprobengröße wächst, übereinstimmt. Die polynomiale Zeitkomplexität ist ein bedeutender Vorteil gegenüber der erschöpfenden besten Teilmengenauswahl, die im Allgemeinen NP-schwer ist.
Die Unverzerrtheitseigenschaft ergibt sich daraus, dass die L0-Strafe die Koeffizienten ausgewählter Variablen nicht schrumpft, im Gegensatz zu L1-basierten Methoden wie dem Lasso, die durch Schrumpfung Verzerrung einführen. Dies macht abess besonders attraktiv, wenn unverzerrte Koeffizientenschätzungen für die Interpretation oder nachgelagerte Inferenz wichtig sind.
Anwendungen in der Regression und darüber hinaus
abess ist auf eine breite Palette statistischer Modelle über die lineare Regression hinaus anwendbar. Im Kontext des Single-Index-Modells kann abess erweitert werden, um relevante Kovariaten auszuwählen, während die unbekannte Linkfunktion geschätzt wird. Die Methode wurde für verallgemeinerte lineare Modelle angepasst, einschließlich logistischer und Poisson-Regression, wobei die Verlustfunktion entsprechend modifiziert wird. In der Biostatistik wurde abess für die Biomarker-Entdeckung verwendet, wo die Identifizierung einer kleinen Menge prädiktiver Gene oder klinischer Variablen entscheidend ist.
Die Methode bewältigt auch hochdimensionale Einstellungen, in denen die Anzahl der Prädiktoren p die Stichprobengröße n stark übersteigen kann. In solchen Szenarien behalten der adaptive Auswahlmechanismus und der Austauschalgorithmus die rechnerische Machbarkeit bei, während sie eine zuverlässige Variablenauswahl bieten.
Softwareimplementierung
Die abess-Methode ist in einem Open-Source-R-Paket implementiert, das ebenfalls abess heißt und Funktionen für lineare Regression, logistische Regression und andere Modelle bereitstellt. Das Paket enthält effizienten C++-Code für den Kernalgorithmus, was es für groß angelegte Datensätze geeignet macht. Benutzer können die maximale Trägergröße angeben oder den adaptiven Prozess die Größe automatisch bestimmen lassen. Das Paket bietet auch Visualisierungswerkzeuge für den Lösungspfad und Diagnosediagramme.
Vergleich mit anderen Methoden
Im Vergleich zu regularisierungsbasierten Ansätzen wie dem Lasso und dem Elastic Net bietet abess den Vorteil unverzerrter Schätzungen und automatischer Modellgrößenauswahl ohne Abstimmungsparameter. Es kann jedoch für sehr große p rechnerisch intensiver sein als das Lasso, obwohl die polynomiale Zeitkomplexität diese Sorge mildert. Im Vergleich zu gierigen Algorithmen wie Orthogonal Matching Pursuit bietet abess einen prinzipielleren Austauschmechanismus, der lokale Optima entkommen kann.
Einschränkungen und Erweiterungen
Obwohl abess leistungsfähig ist, nimmt es an, dass das lineare Modell oder seine Erweiterungen gelten und dass die L0-Beschränkung für das Problem geeignet ist. Für stark nichtlineare Beziehungen können Erweiterungen unter Verwendung von Basiserweiterungen oder Kernel-Methoden erforderlich sein. Die Forschung wird fortgesetzt, um abess auf komplexere Modelle zu erweitern, einschließlich Deep-Learning-Architekturen und neuronale Netze-Einstellungen, in denen die Merkmalsauswahl in den Trainingsprozess integriert ist.
Siehe auch
Referenzen
Zhu, J. (2020). abess: Adaptive Best Subset Selection. (Originales Einführungspapier)
Externe Links
- R-Paket abess auf CRAN (gemäß Richtlinien hier nicht verlinkt)