Regularisierung bezeichnet eine breite Familie von Techniken im Machine learning, die dazu dienen, Overfitting zu reduzieren, indem ein Modell davon abgehalten wird, die Trainingsdaten zu genau anzupassen, sodass es besser auf neue Daten generalisiert. Anstatt zu ändern, was ein Modell zu lernen versucht, verändern die meisten Regularisierungsmethoden, wie es lernen darf – entweder durch direkte Bestrafung der Komplexität, durch das Einbringen kontrollierten Rauschens während des Trainings oder durch das Stoppen des Trainings, bevor das Modell die Gelegenheit hat, Besonderheiten des Trainingssatzes auswendig zu lernen.
Gewichtbasierte Methoden
Der älteste und direkteste Ansatz fügt dem Loss function einen Strafterm hinzu, der auf der Größe der Modellgewichte basiert, und ermutigt den Optimierer, kleinere, einfachere Gewichtswerte zu bevorzugen, sofern die Daten nicht stark größere rechtfertigen. Die L2-Regularisierung, auch als Gewichtsabfall (Weight Decay) oder Ridge-Regularisierung bezeichnet, bestraft die Summe der quadrierten Gewichte und tendiert dazu, alle Gewichte gleichmäßig gegen Null zu schrumpfen. Die L1-Regularisierung bestraft die Summe der absoluten Gewichtswerte und tendiert dazu, einige Gewichte exakt auf Null zu setzen, was effektiv eine Merkmalsauswahl durchführt. Im modernen Deep Learning wird der Gewichtsabfall typischerweise direkt im Optimierer angewendet, beispielsweise als Modifikation von Adam, bekannt als AdamW, anstatt als expliziter Term, der zur Verlustfunktion hinzugefügt wird.
Strukturelle und stochastische Methoden
Dropout, eingeführt von Geoffrey Hinton und seiner Gruppe um 2012 und formalisiert in einem vielzitierten Paper von 2014, deaktiviert zufällig einen Anteil der Einheiten eines neuronalen Netzes während jedes Trainingsschritts, wodurch das Netz gezwungen wird, sich nicht zu stark auf eine einzelne Einheit oder eine feste Kombination von Einheiten zu verlassen, und trainiert effektiv ein implizites Ensemble von Teilnetzen, die sich die Gewichte teilen. Batch-Normalisierung und ihre Nachfolger, obwohl ursprünglich eingeführt, um das Training zu stabilisieren und zu beschleunigen, haben ebenfalls einen regularisierenden Nebeneffekt, indem sie während des Trainings Rauschen zu den Eingaben jeder Schicht hinzufügen. Datenaugmentierung, die modifizierte Kopien von Trainingsbeispielen erstellt, wie etwa rotierte oder beschnittene Bilder oder paraphrasierten Text, erweitert künstlich die effektive Vielfalt der Training data und verringert die Wahrscheinlichkeit, dass ein Modell oberflächliche, nicht generalisierbare Muster übernimmt.
Frühes Stoppen und Modellauswahl
Frühes Stoppen beendet das Training, sobald die Leistung auf einem zurückgehaltenen Validierungssatz nicht mehr verbessert wird, selbst wenn der Trainingsverlust weiter sinkt, und zielt direkt auf die Diskrepanz zwischen Trainings- und Validierungsleistung ab, die Overfitting definiert. Dies erfordert die Überwachung des Validierungsverlusts während des gesamten Trainings und nicht erst am Ende, und ist eine der einfachsten und am weitesten verbreiteten Regularisierungsmethoden, gerade weil es keine Änderung am Modell oder an der Verlustfunktion selbst erfordert, sondern nur eine Stoppregel.
Regularisierung bei großen Modellen
Etwas kontraintuitiv verwenden die größten Large language models und Deep learning-Systeme oft eine leichtere explizite Regularisierung als kleinere Modelle, da das Training auf enormen, vielfältigen Training data mit einer begrenzten Anzahl von Durchläufen eine natürliche Form der Regularisierung bietet: Das Modell sieht dasselbe Beispiel selten oder nie zweimal, sodass kaum Gelegenheit besteht, es auswendig zu lernen. Insbesondere Dropout wird bei groß angelegtem Transformer (architecture)-Pretraining häufig reduziert oder ganz entfernt, bleibt jedoch während des Fine-tuning in kleinerem Maßstab üblich, wo das Risiko von Overfitting auf einem engeren Datensatz realistischer ist.