Frühes Stoppen ist eine Form der Regularisierung, die im maschinellen Lernen verwendet wird, um Überanpassung zu vermeiden, wenn ein Modell mit einem iterativen Optimierungsverfahren wie dem Gradientenabstieg trainiert wird. Diese Verfahren aktualisieren das Modell bei jeder Iteration, um es besser an die Trainingsdaten anzupassen. Bis zu einem gewissen Punkt verbessert dies die Leistung des Modells auf Daten außerhalb des Trainingssatzes, wie etwa einem Validierungssatz. Darüber hinaus geht die Verbesserung der Anpassung des Modells an die Trainingsdaten jedoch auf Kosten eines erhöhten Generalisierungsfehlers. Regeln für das frühe Stoppen geben Anleitung, wie viele Iterationen ausgeführt werden können, bevor der Lernende beginnt, zu überanpassen. Regeln für das frühe Stoppen wurden in vielen verschiedenen Methoden des maschinellen Lernens eingesetzt, mit unterschiedlichem theoretischem Fundament.
Hintergrund
Dieser Abschnitt stellt einige der grundlegenden Konzepte des maschinellen Lernens vor, die für eine Beschreibung von Methoden des frühen Stoppens erforderlich sind.
Überanpassung
Algorithmen des maschinellen Lernens trainieren ein Modell basierend auf einem endlichen Satz von Trainingsdaten. Während des Trainings wird das Modell danach bewertet, wie gut es die im Trainingssatz enthaltenen Beobachtungen vorhersagt. Im Allgemeinen ist das Ziel eines maschinellen Lernschemas jedoch, ein Modell zu erzeugen, das generalisiert, das heißt, das zuvor nicht gesehene Beobachtungen vorhersagt. Überanpassung tritt auf, wenn ein Modell die Daten im Trainingssatz gut anpasst, während es einen größeren Generalisierungsfehler verursacht. Dies ist eine zentrale Herausforderung im maschinellen Lernen, da Modelle mit übermäßiger Kapazität Rauschen auswendig lernen können, anstatt zugrunde liegende Muster zu lernen.
Regularisierung
Regularisierung bezieht sich im Kontext des maschinellen Lernens auf den Prozess der Modifikation eines Lernalgorithmus, um Überanpassung zu verhindern. Dies beinhaltet in der Regel die Auferlegung einer Art von Glattheitsbeschränkung für das gelernte Modell. Diese Glattheit kann explizit erzwungen werden, indem die Anzahl der Parameter im Modell festgelegt wird, oder durch Erweiterung der Kostenfunktion wie bei der Tikhonov-Regularisierung. Die Tikhonov-Regularisierung fällt zusammen mit der Hauptkomponentenregression und vielen anderen Regularisierungsschemata unter den Begriff der spektralen Regularisierung, die durch die Anwendung eines Filters gekennzeichnet ist. Frühes Stoppen gehört ebenfalls zu dieser Klasse von Methoden. Im tiefen Lernen ist Regularisierung entscheidend für das Training großer neuronaler Netze, ohne Trainingsdaten auswendig zu lernen.
Gradientenabstiegsverfahren
Gradientenabstiegsverfahren sind iterative Optimierungsmethoden erster Ordnung. Jede Iteration aktualisiert eine Näherungslösung des Optimierungsproblems, indem ein Schritt in Richtung des negativen Gradienten der Zielfunktion unternommen wird. Durch geeignete Wahl der Schrittgröße kann ein solches Verfahren gegen ein lokales Minimum der Zielfunktion konvergieren. Der Gradientenabstieg wird im maschinellen Lernen verwendet, indem eine Verlustfunktion definiert wird, die den Fehler des Lernenden auf dem Trainingssatz widerspiegelt, und diese Funktion dann minimiert wird. Frühes Stoppen ist besonders relevant für den Gradientenabstieg, da es bestimmt, wann dieser iterative Prozess angehalten werden soll.
Frühes Stoppen basierend auf analytischen Ergebnissen
Frühes Stoppen in der statistischen Lerntheorie
Frühes Stoppen kann verwendet werden, um nichtparametrische Regressionsprobleme zu regularisieren, die in der statistischen Lerntheorie auftreten. Für einen gegebenen Eingaberaum, Ausgaberaum und Stichproben, die aus einem unbekannten Wahrscheinlichkeitsmaß gezogen werden, ist das Ziel, eine Regressionsfunktion zu approximieren. Eine häufige Wahl zur Approximation der Regressionsfunktion ist die Verwendung von Funktionen aus einem reproduzierenden Kernel-Hilbert-Raum. Diese Räume können unendlichdimensional sein, in welchem Fall sie Lösungen liefern können, die Trainingssätze beliebiger Größe überanpassen. Regularisierung ist daher besonders wichtig für diese Methoden. Eine Möglichkeit, nichtparametrische Regressionsprobleme zu regularisieren, besteht darin, eine Regel für das frühe Stoppen auf ein iteratives Verfahren wie den Gradientenabstieg anzuwenden.
Die für diese Probleme vorgeschlagenen Regeln für das frühe Stoppen basieren auf der Analyse oberer Schranken für den Generalisierungsfehler als Funktion der Iterationsnummer. Sie liefern Vorschriften für die Anzahl der auszuführenden Iterationen, die vor Beginn des Lösungsprozesses berechnet werden können. Diese theoretische Grundlage unterscheidet frühes Stoppen von rein heuristischen Ansätzen.
#### Beispiel: Verlustfunktion der kleinsten Quadrate
Angepasst von Yao, Rosasco und Caponnetto, 2007: Der Eingaberaum sei eine Teilmenge des n-dimensionalen reellen Raums und der Ausgaberaum die reellen Zahlen. Gegeben eine Menge von Stichproben, die unabhängig aus einem unbekannten Wahrscheinlichkeitsmaß gezogen werden, ist das Ziel, das erwartete Risiko für eine Verlustfunktion der kleinsten Quadrate zu minimieren. Die Regressionsfunktion ist die bedingte Erwartung des Ausgangs bei gegebenem Eingang. Regeln für das frühe Stoppen für diese Einstellung liefern eine Stoppiteration, die Bias und Varianz ausgleicht, was in vielen Fällen zu optimalen Konvergenzraten führt.
Praktische Umsetzung
In der Praxis wird frühes Stoppen implementiert, indem die Leistung des Modells auf einem Validierungssatz während des Trainings überwacht wird. Nach jeder Epoche (oder nach einer festen Anzahl von Iterationen) wird das Modell auf dem Validierungssatz bewertet. Wenn sich die Validierungsleistung über eine vordefinierte Anzahl von Prüfungen nicht verbessert hat, wird das Training angehalten. Dieser Gedulds-Parameter ermöglicht vorübergehende Schwankungen in der Validierungsleistung, ohne vorzeitig zu stoppen. Die Modellparameter, die die beste Validierungsleistung erzielt haben, werden in der Regel beibehalten, anstatt der endgültigen Parameter aus der letzten Iteration.
Dieser Ansatz wird häufig beim Training von Transformatoren und großen Sprachmodellen verwendet, bei denen das Training extrem teuer sein kann und Überanpassung ein ständiges Risiko darstellt. Beispielsweise verwenden OpenAI und Google DeepMind frühes Stoppen in ihren Trainingspipelines, um sicherzustellen, dass Modelle gut auf unbekannte Daten generalisieren.
Beziehung zu anderen Regularisierungsmethoden
Frühes Stoppen ist eng mit anderen Formen der Regularisierung verwandt. Insbesondere wurde gezeigt, dass frühes Stoppen beim Gradientenabstieg in bestimmten Einstellungen äquivalent zur L2-Regularisierung (auch bekannt als Gewichtsabfall) ist, wobei die Anzahl der Iterationen eine Rolle analog zur inversen Regularisierungsstärke spielt. Diese Verbindung bietet Einblick, warum frühes Stoppen funktioniert: Es begrenzt die effektive Komplexität des Modells, indem es die Anzahl der Aktualisierungen einschränkt, ähnlich wie der Gewichtsabfall große Gewichte bestraft.
Im Gegensatz zu expliziten Regularisierungsmethoden, die die Verlustfunktion modifizieren, ist frühes Stoppen eine Form der impliziten Regularisierung. Es ändert nicht das Ziel, sondern beschränkt den Optimierungspfad. Dies macht es einfach, auf jeden iterativen Trainingsalgorithmus anzuwenden, ohne die zugrunde liegende Modellarchitektur oder Verlustfunktion zu ändern.
Theoretische Grundlagen
Die theoretischen Grundlagen des frühen Stoppens wurden im Kontext der statistischen Lerntheorie ausführlich untersucht. Forscher haben Schranken für den Generalisierungsfehler als Funktion der Anzahl der Iterationen abgeleitet und gezeigt, dass es eine optimale Stoppzeit gibt, die den erwarteten Fehler minimiert. Diese Schranken hängen oft von Eigenschaften des Hypothesenraums ab, wie seiner Kapazität oder Komplexität, sowie vom Rauschpegel in den Daten.
Für nichtparametrische Regression in reproduzierenden Kernel-Hilbert-Räumen wurde gezeigt, dass frühes Stoppen unter bestimmten Bedingungen minimax-optimale Raten erreicht. Dies bedeutet, dass kein anderer Schätzer einen geringeren asymptotischen Fehler erzielen kann, unter denselben Annahmen. Diese Ergebnisse liefern eine rigorose Rechtfertigung für die Verwendung von frühem Stoppen in der Praxis.
Anwendungen in der modernen KI
Frühes Stoppen ist eine Standardkomponente beim Training moderner KI-Systeme. Im tiefen Lernen wird es verwendet, um faltende Netzwerke, rekurrente Netzwerke und Transformatoren für Aufgaben wie Bildklassifikation, Spracherkennung und Verarbeitung natürlicher Sprache zu trainieren. Unternehmen wie Anthropic und OpenAI verwenden frühes Stoppen beim Training von Modellen wie GPT und Claude, um Überanpassung auf ihren massiven Datensätzen zu vermeiden.
Zusätzlich zum überwachten Lernen wird frühes Stoppen auch in unüberwachten und verstärkenden Lernumgebungen angewendet. Beispielsweise kann frühes Stoppen beim Training generativer Modelle verhindern, dass der Generator Trainingsstichproben auswendig lernt. Im verstärkenden Lernen kann es das Training stoppen, wenn die Leistung des Agenten auf einer Validierungsumgebung ein Plateau erreicht.
Einschränkungen und Überlegungen
Obwohl frühes Stoppen einfach und effektiv ist, hat es Einschränkungen. Die Wahl des Validierungssatzes und des Gedulds-Parameters kann die endgültige Modellqualität erheblich beeinflussen. Wenn der Validierungssatz zu klein ist, können Leistungsschätzungen verrauscht sein, was zu vorzeitigem oder verzögertem Stoppen führt. Darüber hinaus kann frühes Stoppen mit anderen Hyperparametern wie Lernrate und Batchgröße interagieren, was die Abstimmung in Isolation erschwert.
Eine weitere Überlegung ist, dass frühes Stoppen annimmt, dass die Validierungsleistung ein zuverlässiger Proxy für Generalisierung ist. In einigen Fällen, wie wenn sich die Datenverteilung im Laufe der Zeit verschiebt, kann diese Annahme nicht gelten. Dennoch bleibt frühes Stoppen ein grundlegendes Werkzeug im Werkzeugkasten des Praktikers des maschinellen Lernens.