Bootstrap-Aggregating, allgemein als Bagging bekannt, ist eine Ensemble-Lernmethode im maschinellen Lernen, die darauf abzielt, die Genauigkeit und Robustheit von Vorhersagemodellen zu verbessern. Sie funktioniert, indem mehrere Bootstrap-Stichproben (zufällige Teilmengen mit Zurücklegen) aus dem ursprünglichen Trainingsdatensatz erzeugt werden, ein separates Basismodell auf jeder Stichprobe trainiert wird und anschließend deren Vorhersagen aggregiert werden. Bei Regressionsaufgaben ist die endgültige Vorhersage typischerweise der Durchschnitt aller Basismodellausgaben; bei Klassifikation ist es die Mehrheitsentscheidung. Bagging reduziert hauptsächlich die Varianz, hilft, Überanpassung zu mildern, und ist besonders effektiv für Algorithmen mit hoher Varianz wie Entscheidungsbäume.
Die Technik wurde 1994 von Leo Breiman in seinem Artikel „Bagging Predictors" eingeführt. Sie ist ein grundlegendes Konzept im Ensemble-Lernen, das sich vom Boosting (das Fehler sequenziell korrigiert) und vom Stacking (das verschiedene Modelle über einen Meta-Lerner kombiniert) unterscheidet. Bagging wird in der Praxis weit verbreitet eingesetzt, insbesondere als Kern von Random Forests, wo es mit Feature-Subsampling kombiniert wird. Seine Einfachheit und Effektivität haben es zu einem Standardwerkzeug sowohl in der akademischen Forschung als auch in industriellen Anwendungen gemacht, von Finanzen bis Gesundheitswesen.
Historische Entwicklung
Bagging entstand aus der breiteren statistischen und maschinellen Lernforschung der frühen 1990er Jahre, einer Zeit, die durch wachsendes Interesse an der Kombination mehrerer Modelle zur Verbesserung der Generalisierung geprägt war. Leo Breiman, ein Statistiker an der University of California, Berkeley, formalisierte den Ansatz 1994 und baute auf früheren Arbeiten zu Bootstrap-Methoden von Bradley Efron auf. Breiman zeigte sowohl theoretisch als auch empirisch, dass die Mittelung von Vorhersagen aus Modellen, die auf perturbierten Datensätzen trainiert wurden, Fehler reduzieren kann, insbesondere bei instabilen Lernern, deren Ausgaben sich bei kleinen Datenvariationen erheblich ändern.
Die Methode gewann nach der Einführung von Random Forests durch Breiman im Jahr 2001 schnell an Bedeutung, die Bagging erweiterten, indem sie auch eine zufällige Auswahl einer Teilmenge von Features für jede Aufteilung in Entscheidungsbäumen vornahmen. Diese Innovation dekorrelierte die Basismodelle weiter, was zu erheblichen Leistungssteigerungen führte. Seitdem wurde Bagging in zahlreiche Softwarebibliotheken integriert, darunter scikit-learn, das randomForest-Paket von R und TensorFlow Decision Forests, was es Praktikern weltweit zugänglich macht.
Algorithmische Details
Der Bagging-Algorithmus läuft auf unkomplizierte Weise ab. Gegeben einen Trainingssatz der Größe n, erzeugt der Prozess B Bootstrap-Stichproben, jede der Größe n, gleichmäßig mit Zurücklegen gezogen. Dies bedeutet, dass einige ursprüngliche Instanzen in einer Stichprobe mehrfach vorkommen können, während andere weggelassen werden (ungefähr 63,2 % der eindeutigen Instanzen erscheinen in einer beliebigen Stichprobe, der Rest sind Duplikate). Für jede Stichprobe wird ein Basismodell unabhängig trainiert, oft unter Verwendung desselben Algorithmus und derselben Hyperparameter. Die Basismodelle können Entscheidungsbäume, neuronale Netze oder andere Lerner sein.
Die Aggregation hängt von der Aufgabe ab. Bei der Regression werden die Vorhersagen gemittelt: \( \hat{f}(x) = \frac{1}{B} \sum_{b=1}^{B} \hat{f}_b(x) \). Bei der Klassifikation wird die endgültige Klasse durch Mehrheitsentscheidung unter den Basismodellen bestimmt. Die Anzahl der Bootstrap-Stichproben B ist ein zentraler Hyperparameter; typische Werte reichen von 50 bis 500, wobei der Nutzen über ein paar hundert hinaus abnimmt. Bagging erfordert keine Kreuzvalidierung für die Basismodelle, da Out-of-Bag-Stichproben (die Instanzen, die nicht in einer bestimmten Bootstrap-Stichprobe enthalten sind) verwendet werden können, um den Generalisierungsfehler ohne einen separaten Validierungssatz zu schätzen.
Theoretische Grundlagen
Die Effektivität von Bagging beruht auf Varianzreduktion. Für ein Basismodell mit Vorhersagevarianz \( \sigma^2 \) und paarweiser Korrelation \( \rho \) zwischen Modellen beträgt die Varianz des Ensemble-Durchschnitts ungefähr \( \rho \sigma^2 + (1-\rho)\sigma^2/B \). Wenn B zunimmt, verschwindet der zweite Term, sodass \( \rho \sigma^2 \) übrig bleibt. Somit funktioniert Bagging am besten, wenn Basismodelle instabil (hohe Varianz), aber nicht zu korreliert sind. Entscheidungsbäume sind ideal, weil kleine Datenperturbationen zu unterschiedlichen Aufteilungen führen, die Gesamtstruktur jedoch ähnlich genug bleibt, um die Korrelation moderat zu halten.
Breimans ursprüngliche Analyse zeigte, dass Bagging den mittleren quadratischen Fehler bei der Regression und die Fehlklassifikationsrate bei der Klassifikation reduzieren kann, vorausgesetzt der Basislerner ist instabil. Es hilft stabilen Lernern wie der linearen Regression nicht wesentlich, wo die Varianz bereits niedrig ist. Die Methode bietet auch einen natürlichen Mechanismus zur Unsicherheitsschätzung durch die Streuung der Basismodellvorhersagen, die zur Konstruktion von Vorhersageintervallen verwendet werden kann.
Praktische Anwendungen
Bagging wird in verschiedenen Bereichen angewendet. Im Finanzwesen wird es für Kreditwürdigkeitsprüfung und Betrugserkennung verwendet, wo die Reduzierung falscher Positivmeldungen entscheidend ist. Im Gesundheitswesen helfen gebaggte Entscheidungsbäume, Patientenergebnisse vorherzusagen und Krankheiten aus elektronischen Gesundheitsakten zu diagnostizieren. In der Fernerkundung klassifizieren Random Forests (eine Bagging-Variante) Landbedeckung aus Satellitenbildern. Die Methode ist auch in der Verarbeitung natürlicher Sprache für Textklassifikation üblich, obwohl Deep-Learning-Modelle oft auf andere Regularisierungstechniken zurückgreifen.
Eine bemerkenswerte Anwendung liegt in Ensemble-Methoden für Machine learning-Wettbewerbe, wo Bagging häufig mit Boosting kombiniert oder als letzter Schritt zur Stabilisierung von Vorhersagen verwendet wird. Zum Beispiel baggen Teilnehmer im Netflix-Preis und bei Kaggle-Wettbewerben oft ihre besten Modelle, um kleine Genauigkeitsgewinne herauszuholen. In der Industrie bieten Unternehmen wie Amazon Web Services und Google Cloud verwaltete Dienste an, die Bagging-Implementierungen enthalten, was skalierbares Modelltraining ohne manuelle Orchestrierung ermöglicht.
Einschränkungen und Erweiterungen
Bagging hat mehrere Einschränkungen. Es reduziert keine Verzerrung; wenn das Basismodell systematisch unteranpasst, wird Bagging dies nicht korrigieren. Es erhöht auch die Rechenkosten linear mit der Anzahl der Basismodelle, obwohl das Training leicht parallelisiert werden kann, da jedes Modell unabhängig ist. Der Speicherverbrauch kann hoch sein, wenn viele Modelle gespeichert werden. Darüber hinaus ist Bagging weniger effektiv für sehr große Datensätze, bei denen ein einzelnes Modell bereits gut generalisiert, oder für stabile Algorithmen wie lineare Support-Vektor-Maschinen.
Erweiterungen adressieren einige dieser Probleme. Random Forests fügen Feature-Subsampling hinzu, um Bäume weiter zu dekorrelieren. Pasting (oder Subbagging) trainiert auf kleineren zufälligen Stichproben ohne Zurücklegen, was die Rechenlast reduziert. Bragging (Bootstrap-Aggregating mit Gradient-Boosting) kombiniert Bagging mit Boosting für verbesserte Genauigkeit. Für neuronale Netze trainiert eine verwandte Technik namens Deep Ensembles mehrere Netzwerke mit unterschiedlichen zufälligen Initialisierungen, was Bagging effektiv auf Gewichtsebene anwendet. Diese Varianten unterstreichen den anhaltenden Einfluss von Breimans ursprünglicher Idee auf das moderne Ensemble-Lernen.