AdamW

AdamW ist ein Optimierungsalgorithmus, der im maschinellen Lernen und Deep Learning verwendet wird, um neuronale Netze zu trainieren. Er ist eine Variante des Adam-Optimierers, die die Gewichtsabnahme (Weight Decay) von den adaptiven Lernratenaktualisierungen entkoppelt. Der Algorithmus wurde 2017 von Ilya Loshchilov und Frank Hutter eingeführt und ist zu einer Standardwahl für das Training großer Modelle geworden, einschließlich Transformatoren und großer Sprachmodelle. Durch die Trennung der Gewichtsabnahme von den gradientenbasierten Parameteraktualisierungen behebt AdamW ein bekanntes Problem des ursprünglichen Adam-Optimierers, bei dem die Gewichtsabnahme so angewendet wurde, dass sie mit den adaptiven Lernraten interferierte, was zu suboptimaler Konvergenz und Generalisierung führte.

Die Hauptmotivation für AdamW ergab sich aus der Beobachtung, dass bei Adam der L2-Regularisierungsterm (häufig als Gewichtsabnahme verwendet) durch die Quadratwurze des exponentiell gleitenden Mittelwerts der quadrierten Gradienten geteilt wird. Diese Kopplung führt dazu, dass die effektive Gewichtsabnahme zwischen Parametern und über die Zeit variiert, was die Optimierung behindern kann. AdamW schlägt eine einfache Lösung vor: Die Gewichtsabnahme wird direkt auf die Parameter nach der Gradientenaktualisierung angewendet, unabhängig von der Skalierung der adaptiven Lernrate. Diese Entkopplung hat nachweislich die Trainingsleistung bei verschiedenen Aufgaben verbessert, einschließlich Bildklassifikierung und Sprachmodellierung.

Hintergrund: Optimierung im maschinellen Lernen

Das Training eines neuronalen Netzes beinhaltet die Minimierung einer Verlustfunktion, typischerweise durch die Verwendung von Varianten des stochastischen Gradientenabstiegs (SGD). Bei SGD werden die Modellparameter iterativ aktualisiert, indem man sich in Richtung des negativen Gradienten der Verlustfunktion bewegt, der auf einer zufälligen Teilmenge der Trainingsdaten berechnet wird. Die Schrittgröße, auch Lernrate genannt, steuert, wie groß jede Aktualisierung ist. Im Laufe der Jahre wurden viele Verbesserungen vorgeschlagen, um die Konvergenz zu beschleunigen und die endgültige Leistung zu verbessern, wie etwa Momentum, adaptive Lernraten und Gewichtsabnahme.

Die Gewichtsabnahme ist eine Regularisierungstechnik, die große Parameterwerte bestraft, indem ein Term proportional zur Summe der quadrierten Gewichte zur Verlustfunktion hinzugefügt wird. Bei standardmäßigem SGD ist die Gewichtsabnahme äquivalent zur L2-Regularisierung, aber diese Äquivalenz bricht bei adaptiven Methoden wie Adam zusammen. AdamW wurde entwickelt, um das beabsichtigte Verhalten der Gewichtsabnahme in adaptiven Optimierern wiederherzustellen.

Der Adam-Optimierer

Adam (Adaptive Moment Estimation) wurde 2014 von Diederik Kingma und Jimmy Ba eingeführt. Er hält pro Parameter Lernraten aufrecht, indem er einen exponentiell abklingenden Durchschnitt vergangener Gradienten (erstes Moment) und vergangener quadrierter Gradienten (zweites Moment) führt. Die Aktualisierungsregel für Adam lautet:

\[ \theta_{t+1} = \theta_t - \eta \frac{\hat{m}_t}{\sqrt{\hat{v}_t} + \epsilon} \]

wobei \(\hat{m}_t\) und \(\hat{v}_t\) bias-korrigierte Schätzungen des ersten und zweiten Moments sind, \(\eta\) die Lernrate ist und \(\epsilon\) eine kleine Konstante für numerische Stabilität ist. Adam wurde aufgrund seiner Robustheit gegenüber Hyperparamparametern und seiner schnellen Konvergenz beliebt, insbesondere für das Training tiefer Netze.

Allerdings wurde bei der ursprünglichen Adam-Implementierung die Gewichtsabnahme als L2-Regularisierung implementiert, die einen Term \(\frac{\lambda}{2} \|\theta\|^2\) zur Verlustfunktion hinzufügt. Dieser Term wird dann in den Gradienten einbezogen, und da Adam den Gradienten durch das zweite Moment normalisiert, wird die effektive Gewichtsabnahme zu \(\lambda / \sqrt{\hat{v}_t}\). Dies bedeutet, dass Parameter mit großen Gradienten weniger Regularisierung erhalten, was zu Überanpassung und schlechter Generalisierung führen kann.

Der AdamW-Algorithmus

AdamW modifiziert die Aktualisierungsregel, indem er den L2-Regularisierungsterm aus dem Gradienten entfernt und stattdessen die Gewichtsabnahme direkt auf die Parameter nach der adaptiven Aktualisierung anwendet. Die Aktualisierungsregel lautet:

\[ \theta_{t+1} = \theta_t - \eta \frac{\hat{m}_t}{\sqrt{\hat{v}_t} + \epsilon} - \eta \lambda \theta_t \]

wobei \(\lambda\) der Gewichtsabnahmekoeffizient ist. Diese Entkopplung stellt sicher, dass die Gewichtsabnahme gleichmäßig auf alle Parameter angewendet wird, unabhängig von ihren Gradientenmagnituden. Die Autoren argumentierten, dass dies zu besserer Generalisierung und stabilerem Training führt, insbesondere bei Verwendung großer Lernraten.

In ihrer Arbeit demonstrierten Loshchilov und Hutter, dass AdamW Adam mit L2-Regularisierung bei mehreren Benchmark-Aufgaben übertrifft, einschließlich Bildklassifizierung auf CIFAR-10 und Sprachmodellierung auf Penn Treebank. Sie zeigten auch, dass AdamW robuster gegenüber der Wahl der Lernrate und der Gewichtsabnahme-Hyperparameter ist.

Auswirkungen auf das Deep Learning

AdamW hat erhebliche Auswirkungen auf das Feld der künstlichen Intelligenz gehabt. Es ist heute der Standard-Optimierer in vielen beliebten Deep-Learning-Frameworks wie PyTorch und TensorFlow und wird häufig beim Training von Transformatoren und großen Sprachmodellen verwendet. Beispielsweise verwenden viele Modelle, die von Organisationen wie OpenAI, Anthropic und Google DeepMind entwickelt wurden, AdamW als Teil ihrer Trainingspipelines.

Die entkoppelte Gewichtsabnahme in AdamW war besonders vorteilhaft für das Training großskaliger Modelle, bei denen Regularisierung entscheidend ist, um Überanpassung an massive Datensätze zu verhindern. Es hat auch gezeigt, dass es die Konvergenzgeschwindigkeit und die endgültige Leistung im Vergleich zu anderen Optimierern wie SGD mit Momentum oder Adam mit L2-Regularisierung verbessert.

Vergleich mit anderen Optimierern

AdamW wird oft mit anderen adaptiven Optimierern wie AdaGrad, RMSProp und Adam verglichen. Während AdaGrad und RMSProp die Lernraten basierend auf historischen Gradienten anpassen, kombiniert Adam sowohl Momentum als auch adaptive Lernraten. AdamW verbessert Adam, indem es das Gewichtsabnahmeproblem behebt, was es für eine breite Palette von Aufgaben zuverlässiger macht.

Ein weiterer verwandter Optimierer ist SGD mit Momentum, der einfacher ist, aber oft eine sorgierige Abstimmung des Lernratenplans erfordert. AdamW bietet ein gutes Gleichgewicht zwischen Benutzerfreundlichkeit und Leistung, daher ist es für viele Praktiker zur bevorzugten Wahl geworden. Einige Studien haben jedoch gezeigt, dass SGD mit Momentum bei bestimmten Aufgaben eine bessere Generalisierung erreichen kann, wenn es richtig abgestimmt ist, aber AdamW bleibt wettbewerbsfähig und robuster gegenüber Hyperparameterwahlen.

Praktische Überlegungen

Bei der Verung von AdamW gibt es einige praktische Überlegungen. Der Gewichtsabnahmekoeffizient \(\lambda\) wird typischerweise auf einen kleinen Wert wie 0,01 oder 0,1 gesetzt, muss aber möglicherweise für spezifische Aufgaben abgestimmt werden. Die Lernrate wird oft auf einen Wert wie 1e-4 oder 3e-4 für das Training von Transformatoren gesetzt. Zusätzlich profitiert AdamW oft von einem Lernraten-Warmup-Plan, bei dem die Lernrate über die ersten tausend Schritte allmählich von einem kleinen Wert auf den Zielwert ansteigt.

In der Praxis ist AdamW in den meisten Deep-Learning-Bibliotheken implementiert, sodass Benutzer einfach den Optimierer angeben und den Gewichtsabnahmeparameter setzen können. Beispielsweise kann man in PyTorch torch.optim.AdamW(model.parameters(), lr=1e-4, weight_decay=0.01) verwenden. Diese Einfachheit hat zu seiner weitgehenden Akzeptanz beigetragen.

Erweiterungen und Varianten

Es wurden mehrere Erweiterungen und Varianten von AdamW vorgeschlagen. Beispielsweise wurde AdamW mit entkoppelter Gewichtsabnahme mit anderen Techniken wie Lookahead kombiniert, das einen langsameren Satz von Parametern für glattere Aktualisierungen aufrechterhält. Eine andere Variante ist AdamW mit Kosinus-Abkühlungs-Lernratenplänen, die nachweislich die Leistung bei Bildklassifizierungsaufgaben verbessern.

Im Kontext großer Sprachmodelle wird AdamW oft mit gemischtem Präzisionstraining und Gradientenakkumulation verwendet, um große Batchgrößen zu handhaben. Einige Frameworks bieten auch fusionierte Implementierungen von AdamW an, die den Speicherverbrauch reduzieren und die Recheneffizienz verbessern, was beim Training von Modellen mit Milliarden von Parametern wichtig ist.

Fazit

AdamW ist zu einem grundlegenden Werkzeug im Werkzeugkasten des maschinellen Lernens geworden. Durch die Entkopplung der Gewichtsabnahme von den adaptiven Gradientenaktualisierungen behebt es einen subtilen, aber wichtigen Fehler im ursprünglichen Adam-Optimierer, was zu besserer Generalisierung und stabilerem Training führt. Seine Einfachheit und Effektivität haben es zur Standardwahl für viele Deep-Learning-Anwendungen gemacht, von der Bildklassifizierung bis zur Verarbeitung natürlicher Sprache. Während sich das Feld weiterentwickelt, bleibt AdamW eine zuverlässige und weit verbreitete Optimierungsmethode.

Referenzen

• Loshchilov, I., & Hutter, F. (2017). Decoupled Weight Decay Regularization. arXiv:1711.05101.
• Kingma, D. P., & Ba, J. (2014). Adam: A Method for Stochastic Optimization. arXiv:1412.6980. übersetzt von OpenAI und anderen Quellen.