Stochastischer Gradientenabstieg (SGD) ist ein iteratives Optimierungsverfahren, das den Gradientenabstieg approximiert, indem es eine zufällig ausgewählte Teilmenge der Daten verwendet, um den Gradienten zu schätzen. Varianten von SGD wurden entwickelt, um seine Einschränkungen zu beheben, wie langsame Konvergenz und Empfindlichkeit gegenüber der Lernrate. Zu diesen Varianten gehören Momentum, Nesterov-beschleunigter Gradient, AdaGrad, RMSProp und moderne adaptive Methoden wie Adam, die in maschinellem Lernen und tiefem Lernen weit verbreitet sind, um Modelle effizient zu trainieren.
Die Kernidee von SGD geht auf den Robbins-Monro-Algorithmus aus den 1950er Jahren zurück, der stochastische Approximation zur Nullstellensuche einführte. Im maschinellen Lernen minimiert SGD eine Zielfunktion, die typischerweise eine Summe von Verlustfunktionen pro Beispiel ist. Die grundlegende Aktualisierungsregel lautet \( w := w - \eta \nabla Q_i(w) \), wobei \( \eta \) die Lernrate und \( Q_i \) der Verlust für das \( i \)-te Beispiel ist. Obwohl einfach, kann diese Aktualisierung langsam konvergieren und oszillieren, insbesondere in Schluchten der Verlustlandschaft. Varianten beheben diese Probleme, indem sie die Aktualisierungsrichtung, die Lernrate oder beides modifizieren.
Momentum
Momentum ist eine Technik, die SGD beschleunigt, indem sie einen Geschwindigkeitsvektor in Richtung anhaltender Gradienten akkumuliert. Eingeführt von Boris Polyak im Jahr 1964, ahmt Momentum physikalische Trägheit nach: Die Aktualisierung bei Schritt \( t \) ist \( v_t = \mu v_{t-1} - \eta \nabla Q_i(w_t) \) und \( w_{t+1} = w_t + v_t \), wobei \( \mu \) der Momentum-Koeffizient ist (oft 0,9). Dies hilft dem Optimierer, sich schneller entlang konsistenter Richtungen zu bewegen und dämpft Oszillationen in Regionen mit hoher Krümmung. Momentum ist besonders effektiv beim Training tiefer Netzwerke, da es die verrauschten Gradientenschätzungen glättet.
Nesterov-beschleunigter Gradient
Der Nesterov-beschleunigte Gradient (NAG) ist eine Variante, die einen Vorausschau-Schritt hinzufügt. Vorgeschlagen von Yurii Nesterov im Jahr 1983, berechnet NAG den Gradienten an der projizierten Position \( w_t + \mu v_{t-1} \) anstatt an der aktuellen Position. Die Aktualisierung wird zu \( v_t = \mu v_{t-1} - \eta \nabla Q_i(w_t + \mu v_{t-1}) \) und \( w_{t+1} = w_t + v_t \). Diese Korrektur reduziert Überschwingen und liefert eine genauere Schätzung des zukünftigen Gradienten, was zu schnellerer Konvergenz in konvexen Umgebungen führt. NAG wird oft beim Training von neuronalen Netzen verwendet und wurde in viele Bibliotheken integriert.
AdaGrad
AdaGrad, eingeführt von John Duchi, Elad Hazan und Yoram Singer im Jahr 2011, passt die Lernrate pro Parameter basierend auf der historischen Summe der quadrierten Gradienten an. Für jeden Parameter \( w_j \) lautet die Aktualisierung \( w_j := w_j - \frac{\eta}{\sqrt{G_{j,j} + \epsilon}} \nabla Q_i(w_j) \), wobei \( G_{j,j} \) die quadrierten Gradienten akkumuliert und \( \epsilon \) eine kleine Konstante für numerische Stabilität ist. AdaGrad funktioniert gut für sparse Daten, da es seltenen Merkmalen größere Aktualisierungen gibt. Die Akkumulation der quadrierten Gradienten führt jedoch dazu, dass die Lernrate im Laufe der Zeit schrumpft, was das Training vorzeitig stoppen kann.
RMSProp
RMSProp, vorgeschlagen von Geoffrey Hinton in seinen Vorlesungsnotizen im Jahr 2012, behebt AdaGrads abnehmende Lernrate, indem es einen exponentiell abklingenden Durchschnitt der quadrierten Gradienten verwendet. Die Aktualisierung hält einen gleitenden Durchschnitt \( E[g^2]_t = \rho E[g^2]_{t-1} + (1-\rho) g_t^2 \), wobei \( \rho \) die Abklingrate ist (typischerweise 0,9). Die Parameteraktualisierung ist \( w := w - \frac{\eta}{\sqrt{E[g^2]_t + \epsilon}} g_t \). RMSProp ist effektiv in nicht-konvexen Umgebungen und wurde weit verbreitet beim Training rekurrenter Netzwerke und tiefer Lernmodelle eingesetzt.
Adam
Adam (Adaptive Moment Estimation), eingeführt von Diederik Kingma und Jimmy Ba im Jahr 2015, kombiniert Momentum und RMSProp. Es hält sowohl ein erstes Moment (Mittelwert) als auch ein zweites Moment (Varianz) der Gradienten, mit Bias-Korrektur für frühe Schritte. Die Aktualisierung ist \( m_t = \beta_1 m_{t-1} + (1-\beta_1) g_t \), \( v_t = \beta_2 v_{t-1} + (1-\beta_2) g_t^2 \), und \( \hat{m}_t = m_t / (1-\beta_1^t) \), \( \hat{v}_t = v_t / (1-\beta_2^t) \). Die Parameteraktualisierung ist \( w := w - \eta \frac{\hat{m}_t}{\sqrt{\hat{v}_t} + \epsilon} \). Adam ist aufgrund seiner Robustheit und schnellen Konvergenz zum Standard-Optimierer für viele Deep-Learning-Aufgaben geworden. Varianten wie AdamW, das Gewichtsabfall entkoppelt, und AMSGrad, das Konvergenzprobleme adressiert, wurden ebenfalls entwickelt.
Moderne adaptive Methoden
Über Adam hinaus wurden mehrere adaptive Methoden vorgeschlagen. AdaBelief (2020) passt die Schrittgröße basierend auf dem Vertrauen in die aktuelle Gradientenrichtung an. RAdam (Rectified Adam) führt einen Gleichrichter ein, um die frühe Trainingsphase zu stabilisieren. Lion (Evolved Sign Momentum), entdeckt von Google Brain im Jahr 2023, verwendet Vorzeichenoperationen, um den Speicherverbrauch zu reduzieren, und hat wettbewerbsfähige Leistung gezeigt. Diese Methoden werden oft beim Training von großen Sprachmodellen und anderen großskaligen Systemen verwendet, wo Effizienz und Stabilität entscheidend sind.
Praktische Überlegungen
Die Wahl der richtigen SGD-Variante hängt vom Problem ab. Für konvexe Probleme bietet NAG oft theoretische Garantien. Für tiefe Netzwerke sind Adam oder RMSProp übliche Ausgangspunkte. Lernratenplanung, wie Warmup und Abklingen, wird oft mit diesen Optimierern kombiniert. Die Mini-Batch-Größe beeinflusst ebenfalls die Leistung; größere Batches liefern glattere Gradienten, benötigen aber mehr Speicher. In verteiltem Training werden Varianten wie LARS (Layer-wise Adaptive Rate Scaling) und LAMB (Layer-wise Adaptive Moments) verwendet, um auf große Batches zu skalieren, wie in Systemen wie AWS Trainium und Google Cloud zu sehen.
Auswirkungen auf maschinelles Lernen
SGD-Varianten waren maßgeblich am Erfolg der modernen künstlichen Intelligenz beteiligt. Sie ermöglichen das Training tiefer Netzwerke mit Millionen von Parametern auf massiven Datensätzen, wie es von Organisationen wie OpenAI, Google DeepMind und Anthropic durchgeführt wird. Die Wahl des Optimierers kann die Modellgenauigkeit und Trainingsgeschwindigkeit erheblich beeinflussen. Die Forschung verfeinert diese Methoden weiter, wobei regelmäßig neue Varianten entstehen. Das Verständnis ihrer Eigenschaften ist für Praktiker in maschinellem Lernen und verwandten Bereichen unerlässlich.
Siehe auch
- Gradientenabstieg
- Backpropagation
- Lernrate
- Optimierung