Der Gradientenabstieg ist ein iterativer Optimierungsalgorithmus, der verwendet wird, um eine Verlustfunktion zu minimieren, indem wiederholt die Parameter eines Modells in die Richtung angepasst werden, die entgegengesetzt zum Gradienten verläuft – dem Vektor partieller Ableitungen, der auf den steilsten Anstieg des Verlusts zeigt. Er ist der fundamentale Mechanismus, durch den die meisten modernen maschinellen Lern- und Deep-Learning-Systeme aus Daten lernen, und liegt dem Training von allem zugrunde, von einfachen linearen Regressionen bis hin zu Modellen mit Hunderten von Milliarden Parametern.
Geschichte
Die Methode ist älter als die Informatik: Der französische Mathematiker Augustin-Louis Cauchy beschrieb 1847 eine Version der gradientenbasierten Minimierung. Ihre statistische Form, die stochastische Approximation, wurde 1951 von Herbert Robbins und Sutton Monro formalisiert. Der Gradientenabstieg wurde zentral für KI, als er in den 1980er Jahren mit Backpropagation gekoppelt wurde, als Standardmethode zur effizienten Berechnung von Gradienten durch mehrschichtige neuronale Netze, und seine praktische Dominanz wuchs mit der Verfügbarkeit großer Datensätze und GPU-Hardware, die in der Lage ist, die vielen kleinen Aktualisierungsschritte auszuführen, die die Methode erfordert.
Varianten
Der Batch-Gradientenabstieg berechnet den Gradienten vor jeder Aktualisierung über den gesamten Datensatz, was genau, aber für große Datensätze langsam und speicherintensiv ist. Der stochastische Gradientenabstieg (SGD) aktualisiert die Parameter mit einem einzelnen Beispiel oder, üblicherweise, einer kleinen „Mini-Batch" auf einmal, wobei etwas Genauigkeit pro Schritt gegen weitaus häufigere Aktualisierungen und bessere Skalierbarkeit eingetauscht wird. Momentum-Methoden akkumulieren einen gleitenden Durchschnitt vergangener Gradienten, um verrauschte Aktualisierungen zu glätten und die Konvergenz in konsistenten Richtungen zu beschleunigen. Adaptive Methoden, insbesondere Adam, das 2014 von Diederik Kingma und Jimmy Ba eingeführt wurde, halten pro Parameter Lernraten basierend auf Schätzungen der ersten und zweiten Momente des Gradienten aufrecht, und Adam oder seine Varianten sind der Standard-Optimierer für das Training fast aller zeitgenössischen großen Sprachmodelle.
Praktische Überlegungen
Die Lernrate, die die Größe jedes Aktualisierungsschritts skaliert, ist der einflussreichste Hyperparameter im Gradientenabstieg: Ist sie zu hoch, divergiert oder oszilliert das Training, ist sie zu niedrig, wird das Training unpraktisch langsam oder bleibt in schlechten Regionen der Verlustlandschaft stecken. Moderne Trainingsläufe verwenden typischerweise einen Lernratenplan, der allmählich aufwärmt und dann im Verlauf des Trainings abklingt. Da die Verlustflächen tiefer Netze extrem hochdimensional und nicht-konvex sind, findet der Gradientenabstieg in der Praxis kein echtes globales Minimum; stattdessen stützt er sich auf die empirische Beobachtung, dass viele lokale Minima, die durch Gradientenabstieg in überparametrisierten Netzen gefunden werden, gut generalisieren – ein Phänomen, das theoretisch noch nicht vollständig erklärt ist. Der Gradientenabstieg ist auch anfällig für Probleme wie verschwindende und explodierende Gradienten in sehr tiefen oder rekurrenten Architekturen, was Innovationen wie die Gating-Mechanismen des LSTM und später die Residuenverbindungen motivierte, die in Transformer-Architekturen verwendet werden.
Beziehung zu anderen Konzepten
Der Gradientenabstieg ist das Werkzeug, mit dem die Verlustfunktion eines Netzes minimiert wird, aber er ist allein nicht ausreichend, um ein nützliches Modell zu erzeugen: Ohne Techniken wie Regularisierung wird der Gradientenabstieg bereitwillig den Trainingsverlust gegen Null treiben, indem er den Trainingssatz auswendig lernt – ein Fehlermodus, der als Überanpassung bekannt ist. Im Verstärkungslernen werden gradientenbasierte Methoden angepasst, um die erwartete Belohnung eines Agenten zu optimieren, statt einen festen, beschrifteten Verlust zu minimieren, und bilden die Grundlage für Policy-Gradient-Algorithmen, die in Systemen wie solchen verwendet werden, die mit RLHF trainiert werden.