Bootstrap-Aggregating, üblicherweise als Bagging bezeichnet, ist ein Ensemble-Meta-Algorithmus im maschinellen Lernen, der darauf ausgelegt ist, die Stabilität und Genauigkeit von Klassifikations- und Regressionsalgorithmen zu verbessern. Er reduziert die Varianz und trägt dazu bei, Überanpassung zu mildern. Obwohl Bagging häufig bei Entscheidungsbaumverfahren angewendet wird, kann es mit jeder Art von Modell verwendet werden. Es ist ein Spezialfall des breiteren Ansatzes der Ensemble-Mittelung, bei dem mehrere Modelle kombiniert werden, um eine einzelne Vorhersage zu erzeugen.
Die Technik wurde von Thomas Dietterich in den 1990er Jahren eingeführt, obwohl der Begriff „Bagging“ von Michael Jordan in einem Artikel von 1994 geprägt wurde. Bagging ist seitdem zu einem grundlegenden Werkzeug im maschinellen Lernen geworden, insbesondere bei der Entwicklung von Zufallswäldern (Random Forests) und Anderen Ensemble-Methoden.
Kernidee
Die Kernidee hinter Bagging ist es, die Kraft der Mittelung zu nutzen. Einzelne Modelle, die auf leicht unterschiedlichen Teilmengen der Trainingsdaten trainiert werden, weisen tendenziell unkorrelierte Fehler auf. Durch die Mittelung ihrer Vorhersagen heben sich diese Fehler gegenseitig auf, was zu einem robusteren und genauen endgültigen Modell führt. Dies ist besonders vorteilhaft für instabile Algorithmen, bei denen kleine Änderungen in den Trainingsdaten zu großen Änderungen im gelernten Modell führen können.
Der Bagging-Algorithmus
Gegeben ein Standard-Trainingsset \( D \) der Größe \( n \), erzeugt Bagging \( m \) neue Trainingssätze \( D_i \), jeweils der Größe \( n' \), durch gleichmäßiges Ziehen aus \( D \) mit Zurücklegen. Dieser Stichprobenprozess wird als Bootstrapping bezeichnet etwa. Wenn \( n' = n \), für große \( n \), enthält jedes \( D_i \) erwartungsgemäß etwa 63,2 % der eindeutigen Stichproben aus \( D \), wobei der Rest Duplikate sind. Dieser Anteil ergibt sich aus dem Grenzwert \( 1 - 1/e \). Das Ziehen mit Zurücklegen stellt sicher, dass jede Bootstrap-Stichprobe unabhängig von den anderen ist, da die Auswahl besteht darin, dass die Auswahl der Stichproben nicht von früheren Auswahlen abhängt.
Nach der Erzeugung der \( m \) Bootstrap-Stichproben werden \( m \) Modelle angepasst, eines pro Stichprobe. Für Regressionsaufgaben ist die endgültige Vorhersage der Durchschnitt der einzelnen Modellausgaben. Für Klassifikationsaufgaben wird die endgültige Vorhersage durch Abstimmung, normalerweise eine Mehrheitsabstimmung, bestimmt.
Schlüsselbegriffe: Original-, Bootstrap- und Out-of-Bag-Datensätze
Beim Bootstrap-Aggregieren sind drei Arten von Datensätzen relevant: der ursprüngliche Datensatz, der Bootstrap-Datensatz und der Out-of-Bag-Datensatz. Der ursprüngliche Datensatz sind die gegebenen Trainingsdaten. Der Bootstrap-Datensatz wird durch zufällige Stichproben aus dem ursprünglichen Datensatz mit Zurücklegen erstellt und hat die gleiche Größe wie das Original. Beispiel: Wenn der ursprüngliche Datensatz aus 12 Personen besteht, die Emily, Jessie, George, Constantine, Lexi, Theodore, John, James, Rachel, Anthony, Ellie und Jamal heißen, könnte eine Bootstrap-Stichprobe James, Ellie, Constantine, Lexi, John, Constantine, Theodore, Constantine, Anthony, Lexi, Constantine und Theodore enthalten. Hier erscheint Constantine viermal, Lexi zweimal und Theodore zweimal.
Der Out-of-Bag-Datensatz besteht aus den enthaltenen Beobachtungen, die in der Bootstrap-Stichprobe nicht ausgewählt wurden. Im Beispiel wäre das Out-of-Set Emily, Jessie, George, Rachel und Jamal. Da Mengen Duplikate ignorieren, wird die Differenz zwischen der ursprünglichen Menge und den eindeutigen Elementen der Bootstrap-Menge gebildet.
Anwendung auf Entscheidungsbäume und Random Forests
Bagging wird oft mit der Entscheidungsbäumen verwendet, was zur Erstellung von Random Forests führt. In einem Random Forest wird jeder Baum auf einer Bootstrap-Stichprobe trainiert, und zusätzlich wird bei jeder Aufteilung nur eine kleine zufällige Teilmenge von Merkmalen berücksichtigt. Dies führt zu weiterer Diversität zwischen den Bäumen, was das Ensemble robuster macht.
Um einen Entscheidungsbaum aus einem Bootstrap-Datensatz zu erstellen, untersucht der Algorithmus jedes Merkmal und bewertet, wie gut es die Stichproben in wie diese Klassen unterteilt. Dies wird oft mithilfe einer Konfusionsmatrix durchgeführt, für diese Liste wahren Positiven, falschen Positiven, wahren Negativen und unterordneten Negativen enthält. Merkmale werden anhand von Metriken wie dem Informationsgewinn oder einem Maß für „Güte“ eingestuft. Das beste Merkmal wird verwendet, um die Stichproben in zwei Sätze zu unterteilen: diejenigen, die das Merkmal besitzen, und diejenigen, die es nicht besitzen. Dieser Prozess wird rekursiv für jede Teilmenge wiederholt, bis ein Stoppmanische Kriterium, wie die maximale Tiefe, erreicht ist. An den Blättern werden Stichproben basierend auf der Mehrheitsklasse als positiv oder negativ klassifiziert.
Random Forests, die Bagging mit zufälliger Merkmalsauswahl kombinieren, haben nachweislich eine hohe Genauigkeit und werden in der Praxis weit verbreitet verwendet. Die Anzahl der Bäume im Wald beeinflusst die Leistung; so ist ein Modell mit 50 Bäumen im Allgemeinen besser als ein solches mit 10 Bäumen, da die Wahrscheinlichkeit, dass eine Beobachtung aus allen Bootstrap-Stichproben ausgeschlossen wird, mit mehr Bäumen abnimmt.
Auswirkungen auf verschiedene Algorithmen
Bagging führt zu Verbesserungen bei instabilen Verfahren, zu denen künstliche neuronale Netze, Klassifikations- und Regressionsbäume und die Teilmengenauswahl in der linearen Regression Selbst gehören. Es wurde auch gezeigt, das über das Erreichen verschiedene Anwendungen von verbessern kann. Andererseits kann Bagging die Leistung stabiler Methoden wie k-Nearest-Neighbor leicht verschlechtern, da die Mittel über ähnliche Modelle die Varianz nicht signifikant reduziert und möglicherweise Einfluss einführen.
Theoretische Einsichten
Die Wirksamkeit von Bagging beruht auf der Varianz. Für ein Modell mit hoher Varianz, wie ein tief eingesetztes Entscheidungsbaum, können kleine Störungen in den Trainingsdaten zu sehr unterschiedlichen Modellen führen. Durch die Mittel über mehrere Modelle, die auf Bootstrap-Stichproben trainiert wurden, wird die Varianz der endgültigen Vorhersage reduziert, oft ohne einen signifikanten Anstieg des Bias. Dies ist besonders in hochdimensionalen Umgebungen, wie sie in Deep learning und Artificial intelligence-Anwendungen angetroffen werden, wichtig.
Praktische Überlegungen
Rückgriff auf praktische Überlegungen, ist einige rechenintensiv ist Bagging rechenflich effizient, da jedes Modell unabhängig trainiert werden kann, was die Parallelisierung erleichtert. Dies hat zu seiner Beliebtheit in großen maschinellen Lern-Pipelines beigetragen, einschließlich derer von Cloud-Anbietern wie Amazon Web Services und Google Cloud. Die Anzahl der Bootstrap-Samples \( m \) wird unter ist basierend auf den verfügbaren Rechenressourcen gewählt, mit typischen Werten von 10 biszu einigen hundert.
Beziehung zu anderen Ensemble-Methoden
Bagging ist eng mit anderen Ensemble-Techniken wie Boosting und Stacking verwandt. Während Boosting auf das sequenzielle Training von Modellen zur Korrektur von Fehlern abfällt, werden bei Bagging Modelle parallel trainiert und durch Mittel oder Abstimmung kombiniert. Diese Unterscheidung macht Bagging besonders geeignet zur Reduktion von Varianz, während Boosting effektiver bei der Verlust der Varianz ist. Random Forests, Bootstrap-Bagging mit Entscheidungsbäumen, sind heute unter den am häufigsten verwendeten Ensemble-Methoden im maschinellen Lernen, gehören zu den am weitesten Verbreiteten.
Schlussfolgerung
Bagging bleibt eine fundamentale Technik im maschinellen Lernen, die einen einfachen und dennoch leistungsstarken Ansatz zur Verbesserung der Modellstabilität und Genauigkeit bietet. Seine Prinzipien haben die Entwicklung fortgeschrittener Ensemble-Methoden beeinflusst und sind auch in modernen Anwendungen weiterhin relevant, von traditionellen tabellarische Tabellendaten bis zu komplexen Kontexten wie neuronales Netzen und großen Sprachmodellen.