Adaptive Moment Estimation, allgemein bekannt als Adam, ist ein Optimierungsalgorithmus zum Trainieren von maschinellen Lernmodellen. Er wurde entwickelt, um eine Zielfunktion, typischerweise eine Verlustfunktion, durch iterative Aktualisierung der Modellparameter zu minimieren. Adam kombiniert die Vorteile von zwei anderen Erweiterungen des stochastischen Gradientenabstiegs (SGD): Momentum, das die Konvergenz durch Akkumulierung vergangener Gradienten beschleunigt, und RMSprop, das die Lernrate pro Parameter basierend auf der Größenordnung aktueller Gradienten anpasst. Dieser duale Mechanismus ermöglicht es Adam, spärliche Gradienten und verrauschte Daten effektiv zu verarbeiten, was ihn zu einer beliebten Wahl beim Training von Deep Learning und neuronalen Netzen macht.
Adam wurde in einem 2014 veröffentlichten Paper von Diederik P. Kingma und Jimmy Ba mit dem Titel "Adam: A Method for Stochastic Optimization" eingeführt. Der Algorithmus ist seitdem ein Standard-Optimierer für viele maschinelle Lernaufgaben geworden, insbesondere beim Training von großen Sprachmodellen und anderen komplexen Transformer-basierten Architekturen. Seine Beliebtheit beruht auf seiner Effizienz und seinem relativ geringen Speicherbedarf im Vergleich zu Methoden mit vollständiger Matrixanpassung.
Algorithmenübersicht
Adam verwaltet zwei gleitende Mittelwerte für jeden Parameter: das erste Moment (Mittelwert) und das zweite Moment (unzentrierte Varianz) der Gradienten. Diese Mittelwerte werden bei jeder Iteration aktualisiert, und die Parameteraktualisierung wird unter Verwendung von bias-korrigierten Schätzungen berechnet. Die Methode kombiniert die Vorteile von AdaGrad, das gut mit spärlichen Gradienten funktioniert, und RMSprop, das nicht-stationäre Zielfunktionen behandelt. Der Algorithmus verwendet zwei Hyperparameter, typischerweise als beta1 und beta2 bezeichnet, die die exponentiellen Abklingraten der Momentschätzungen steuern. In der Praxis werden Standardwerte von 0,9 für beta1 und 0,999 für beta2, zusammen mit einem kleinen Epsilon für numerische Stabilität, häufig verwendet.
Die Aktualisierungsregel für Adam umfasst die Berechnung der verzerrten Schätzungen des ersten und zweiten Moments und die anschließende Korrektur ihrer Initialisierungsverzerrung, bevor die Parameteraktualisierung durchgeführt wird. Die Schrittgröße für jeden Parameter wird durch den Kehrwert der Quadratwurzel der Schätzung des zweiten Moments skaliert, sodass Parameter mit großen Gradienten kleinere Schritte und solche mit kleinen Gradienten größere Schritte unternehmen. Diese pro-Parameter adaptive Lernrate führt oft zu schnellerer und stabilerer Konvergenz im Vergleich zum standardmäßigen stochastischen Gradientenabstieg.
Beziehung zum stochastischen Gradientenabstieg
Adam ist eine Variante des stochastischen Gradientenabstiegs (SGD), einer grundlegenden Optimierungsmethode im maschinellen Lernen. SGD aktualisiert Modellparameter, indem er sie in die dem Gradienten der Zielfunktion entgegengesetzte Richtung bewegt, berechnet auf einer kleinen Stichprobe von Trainingsdaten. Obwohl effektiv, kann SGD empfindlich auf die Wahl der Lernrate reagieren und mit spärlichen oder verrauschten Gradienten Schwierigkeiten haben. Adam adressiert diese Probleme, indem es zwei zusätzliche Schätzungen verwaltet: das erste Moment (den Mittelwert) und das zweite Moment (die unzentrierte Varianz) der Gradienten. Diese Schätzungen werden verwendet, um die Parameteraktualisierungen zu skalieren und so pro Parameter adaptive Lernraten bereitzustellen.
Algorithmenübersicht
Adam berechnet adaptive Lernraten für jeden Parameter aus Schätzungen des ersten und zweiten Moments der Gradienten. Bei jeder Iteration verwaltet es zwei exponentiell abklingende gleitende Mittelwerte: einen für den Gradienten (erstes Moment) und einen für den quadratischen Gradienten (zweites Moment). Diese werden oft als m und v bezeichnet. Um eine Verzerrung gegen Null in den anfänglichen Schritten zu korrigieren, enthält der Algorithmus Bias-Korrekturterme.
Ein typischer Aktualisierungsschritt läuft wie folgt ab: Berechnung des Gradienten der Verlustfunktion in Bezug auf die Parameter, Aktualisierung der verzerrten Schätzungen des ersten und zweiten Moments, Korrektur der Verzerrung und anschließende Aktualisierung der Parameter unter Verwendung dieser korrigierten Momente. Der Algorithmus hat drei Haupt-Hyperparameter: die Lernrate und zwei Abklingraten für die Momentschätzungen (üblicherweise als beta1 und beta2 bezeichnet). Das Paper, das Adam einführte, empfahl Standardwerte von 0,9 für beta1, 0,999 für beta2 und ein kleines Epsilon, um eine Division durch Null zu vermeiden.
Anwendungen im Deep Learning
Adam ist aufgrund seiner Robustheit und Benutzerfreundlichkeit zu einem Standard-Optimierer im Deep Learning geworden. Er ist besonders effektiv beim Training von Transformer-Modellen, einschließlich jener, die in großen Sprachmodellen und generativen KI-Systemen verwendet werden. Viele Frameworks und Plattformen wie TensorFlow und PyTorch enthalten Adam-Implementierungen, was es für viele Praktiker zu einer Standardwahl macht. Seine Fähigkeit, spärliche Gradienten zu handhaben, und seine relativ schnelle Konvergenz haben zu seiner weit verbreiteten Akzeptanz beigetragen.
Varianten und Erweiterungen
Mehrere Varianten von Adam wurden entwickelt, um spezifische Einschränkungen zu adressieren. Beispielsweise entkoppelt AdamW die Gewichtsabnahme von den Optimierungsschritten, was nachweislich die Generalisierung bei einigen Deep-Learning-Aufgaben verbessert. AMSGrad modifiziert die Aktualisierung des zweiten Moments, um sicherzustellen, dass die Lernrate nicht ansteigt, was in einigen Umgebungen auftreten kann. Diese Varianten behalten den Kernmechanismus des adaptiven Moments bei, während sie bestimmte Verhaltensweisen anpassen.
Anwendungen und Auswirkungen
Adam wird häufig beim Training von Transformer-basierten Modellen verwendet, einschließlich derer, die moderne generative KI-Systeme und große Sprachmodelle antreiben. Seine Robustheit gegenüber Hyperparametervorgaben und seine Fähigkeit, groß angelegte Probleme zu bewältigen, haben ihn zu einer Standardwahl in vielen Deep-Learning-Frameworks gemacht. Die Effizienz des Algorithmus ist besonders wertvoll beim Training auf Hardware wie NVIDIA-GPUs oder AWS-Trainium-Chips, wo die Rechenressourcen erheblich, aber dennoch begrenzt sind. Forschungsgruppen an Institutionen wie dem Stanford AI Lab, BAIR (Berkeley AI Research) und der University of Toronto haben zu seinem theoretischen Verständnis und seiner praktischen Verfeinerung beigetragen.