In maschinellem Lernen und Statistik ist die Lernrate ein Abstimmungsparameter in einem Optimierungsalgorithmus, der die Schrittgröße bei jeder Iteration auf dem Weg zu einem Minimum einer Verlustfunktion bestimmt. Da sie beeinflusst, in welchem Ausmaß neu gewonnene Informationen alte Informationen überschreiben, repräsentiert sie metaphorisch die Geschwindigkeit, mit der ein Modell für maschinelles Lernen „lernt“. In der Literatur zur adaptiven Regelung wird die Lernrate üblicherweise als Verstärkung bezeichnet.
Bei der Festlegung einer Lernrate gibt es einen Kompromiss zwischen der Konvergenzrate und dem Überschwingen. Während die Abstiegsrichtung normalerweise aus dem Gradienten der Verlustfunktion bestimmt wird, legt die Lernrate fest, wie groß ein Schritt in diese Richtung ist. Eine zu hohe Lernrate führt dazu, dass das Lernen über Minima springt, aber eine zu niedrige Lernrate führt entweder zu einer zu langen Konvergenz oder dazu, dass das Modell in einem unerwünschten lokalen Minimum stecken bleibt.
Um eine schnellere Konvergenz zu erreichen, Oszillationen zu verhindern und das Steckenbleiben in unerwünschten lokalen Minima zu vermeiden, wird die Lernrate während des Trainings oft variiert, entweder gemäß einem Lernratenplan oder durch Verwendung einer adaptiven Lernrate. Die Lernrate und ihre Anpassungen können auch pro Parameter unterschiedlich sein; in diesem Fall handelt es sich um eine Diagonalmatrix, die als Näherung der Inversen der Hesse-Matrix im Newton-Verfahren interpretiert werden kann. Die Lernrate steht in Zusammenhang mit der Schrittlänge, die durch eine inexakte Liniensuche in Quasi-Newton-Verfahren und verwandten Optimierungsalgorithmen bestimmt wird.
Kernkonzepte: Abklingen und Impuls
Ein Lernratenplan ändert die Lernrate während des Lernens und wird meist zwischen Epochen oder Iterationen geändert. Dies geschieht hauptsächlich mit zwei Parametern: Abklingen und Impuls. Das Abklingen dient dazu, das Lernen an einem geeigneten Ort zu stabilisieren und Oszillationen zu vermeiden, eine Situation, die auftreten kann, wenn eine zu hohe konstante Lernrate das Lernen über ein Minimum hin und her springen lässt, und wird durch einen Hyperparameter gesteuert.
Der Impuls ist analog zu einem Ball, der einen Hügel hinunterrollt; das Ziel ist, dass der Ball am tiefsten Punkt des Hügels zur Ruhe kommt, was dem niedrigsten Fehler entspricht. Der Impuls beschleunigt sowohl das Lernen (Erhöhung der effektiven Lernrate), wenn der Gradient der Fehlerkosten längere Zeit in dieselbe Richtung zeigt, als auch vermeidet er lokale Minima, indem er über kleine Unebenheiten „hinwegrollt“. Der Impuls wird durch einen Hyperparameter gesteuert, der analog zur Masse eines Balls ist und manuell gewählt werden muss - zu hoch und der Ball rollt über Minima, die wir finden möchten, zu niedrig und er erfüllt seinen Zweck nicht. Die Formel zur Einbeziehung des Impulses ist komplexer als für das Abklingen, ist aber meist in Deep-Learning-Bibliotheken wie Keras eingebaut.
Zeitbasierte Pläne
Zeitbasierte Lernratenpläne ändern die Lernrate abhängig von der Lernrate der vorherigen Zeititeration. Unter Einbeziehung des Abklingens lautet die mathematische Formel für die Lernrate:
\[ \eta_{n+1} = \frac{\eta_0}{1 + dn} \]
wobei \(\eta\) die Lernrate ist, \(\eta_0\) die ursprüngliche Lernrate, \(d\) ein Abklingparameter und \(n\) der Iterationsschritt. Dieser Plan reduziert die Lernrate glatt und monoton, wobei die Reduktion mit fortschreitendem Training weniger aggressiv wird. Er ist einfach zu implementieren und erfordert nur die anfängliche Rate und eine Abklingkonstante, was ihn zu einer häufigen Wahl für frühe neuronale Netzwerk-Experimente macht.
Schrittbasierte Pläne
Schrittbasierte Lernratenpläne ändern die Lernrate gemäß einiger vordefinierter Schritte. Die Formel für die Anwendung des Abklingens ist hier definiert als:
\[ \eta_n = \eta_0 d^{\left\lfloor \frac{1+n}{r} \right\rfloor} \]
wobei \(\eta_n\) die Lernrate bei Iteration \(n\) ist, \(\eta_0\) die anfängliche Lernrate, \(d\) wie stark sich die Lernrate bei jedem Abfall ändern soll (0,5 entspricht einer Halbierung) und \(r\) der Abfallrate entspricht, also wie oft die Rate abfallen soll (10 entspricht einem Abfall alle 10 Iterationen). Die Abrundungsfunktion (\(\lfloor \dots \rfloor\)) setzt hier den Wert ihrer Eingabe für alle Werte kleiner als 1 auf 0. Dieser Ansatz wird häufig beim Training von großen Sprachmodellen und Transformatoren verwendet, wo Praktiker die Rate oft bei vorbestimmten Meilensteinen um einen Faktor von 0,1 oder 0,5 reduzieren, beispielsweise nach einem bestimmten Anteil der gesamten Trainingsschritte.
Exponentielle Pläne
Exponentielle Lernratenpläne ähneln schrittbasierten Plänen, aber anstelle von Schritten wird eine abnehmende Exponentialfunktion verwendet. Die mathematische Formel zur Einbeziehung des Abklingens lautet:
\[ \eta_n = \eta_0 e^{-dn} \]
wobei \(d\) ein Abklingparameter ist. Dieser Plan bietet ein glattes, kontinuierliches Abklingen, das in den frühen Phasen schneller als das zeitbasierte Abklingen und später langsamer ist. Er wird oft bevorzugt, wenn die Verlustlandschaft relativ glatt ist und eine sanfte Reduktion gewünscht wird. Variationen umfassen exponentielles Abklingen mit warmen Neustarts, bei denen die Lernrate periodisch auf einen höheren Wert zurückgesetzt wird, um lokale Minima zu verlassen, eine Technik, die in neuerer Forschung zu Curriculum Learning und Gradient Clipping untersucht wurde.
Kosinus- und Aufwärmpläne
Über die klassischen Pläne hinaus verwendet die moderne Praxis häufig Kosinus-Glühen, bei dem die Lernrate einer Kosinuskurve von einem Anfangswert bis nahe Null folgt. Dieser Plan wird oft mit einer linearen Aufwärmphase kombiniert, während der die Lernrate über einige hundert oder tausend Schritte von einem kleinen Wert auf das anfängliche Maximum ansteigt. Das Aufwärmen ist besonders wichtig für das Training sehr tiefer Netzwerke und großer Transformatoren, da es frühe Instabilitäten verhindert, die durch große Aktualisierungen zufällig initialisierter Gewichte verursacht werden. Kosinuspläne mit Aufwärmen sind zu einem Standard in vielen OpenAI- und Google DeepMind-Forschungsimplementierungen geworden, da sie tendenziell eine bessere endgültige Leistung als schrittbasiertes Abklingen für dasselbe Trainingsbudget erzielen.
Adaptive Lernratenmethoden
Das Problem mit Lernratenplänen ist, dass sie alle von Hyperparametern abhängen, die für jede Lernsession manuell gewählt werden müssen und je nach Problem oder verwendetem Modell stark variieren können. Um dem entgegenzuwirken, gibt es viele verschiedene Arten von adaptiven Gradientenabstiegsalgorithmen wie Adagrad, Adadelta, RMSprop und Adam, die allgemein in Deep-Learning-Bibliotheken wie Keras eingebaut sind. Diese Methoden passen die Lernrate pro Parameter basierend auf historischen Gradienteninformationen an, wodurch in vielen Fällen die Notwendigkeit eines manuell abgestimmten Plans entfällt. Beispielsweise verwaltet Adam lernraten pro Parameter, die durch die inverse Quadratwurzel der Summe der quadrierten vergangenen Gradienten skaliert werden, was eine Form des automatischen Glühens bietet. Während adaptive Methoden oft schneller konvergieren, können sie bei bestimmten Aufgaben manchmal schlechter generalisieren als gut abgestimmte Pläne, was zu hybriden Ansätzen führt, die einen festen Plan zusätzlich zu einem adaptiven Optimierer verwenden.
Praktische Überlegungen und Auswahl
Die Wahl eines Lernratenplans beinhaltet das Abwägen mehrerer Faktoren: die Architektur des Modells, die Größe des Datensatzes, den Optimierungsalgorithmus und das verfügbare Rechenbudget. Für kleine Modelle auf einfachen Datensätzen kann eine konstante Lernrate oder ein einfaches zeitbasiertes Abklingen ausreichen. Für groß angelegte Trainingsläufe, wie sie für Generative AI-Systeme verwendet werden, verwenden Praktiker oft eine Kombination aus Aufwärmen, Kosinus-Abklingen und gelegentlichen Neustarts. Die anfängliche Lernrate selbst wird typischerweise über einen Lernratenbereichstest gewählt, bei dem die Rate über eine kleine Anzahl von Iterationen linear erhöht wird und der Wert ausgewählt wird, der den steilsten Verlustabfall ergibt. Viele Frameworks, einschließlich AWS und Google Cloud, bieten eingebaute Planer und automatisierte Abstimmungswerkzeuge, die die manuelle Belastung reduzieren.
Beziehung zu anderen Techniken
Lernratenpläne interagieren eng mit anderen Trainingstechniken. Batch Normalization und Layer Normalization können die Verlustlandschaft stabilisieren, was höhere Lernraten und einfachere Pläne ermöglicht. Weight Initialization beeinflusst die geeignete Startrate, da schlecht skalierte Anfangsgewichte niedrigere Raten erfordern können, um Divergenz zu vermeiden. Gradient Clipping verhindert explodierende Gradienten, was besonders relevant ist, wenn aggressive Pläne oder rekurrente Architekturen verwendet werden. Beim bestärkenden Lernen sind Pläne oft an Explorationsstrategien gebunden, und bei RLHF zur Ausrichtung von Sprachmodellen wird die Lernrate typischerweise sorgfältig geglüht, um vortrainiertes Wissen zu bewahren und sich gleichzeitig an menschliches Feedback anzupassen.
Historischer Kontext und Forschung
Das Konzept der Variation der Lernrate geht auf frühe Arbeiten in der adaptiven Regelung und stochastischem Gradientenabstieg zurück. Forscher an Institutionen wie MIT CSAIL und Stanford AI Lab untersuchten die theoretischen Eigenschaften verschiedener Abklingfunktionen und zeigten, dass eine abklingende Rate für die Konvergenz in nicht-konvexen Umgebungen notwendig ist. Die Einführung des Impulses durch Bernard Widrow und andere in den 1980er Jahren legte den Grundstein für moderne Optimierer. Später verlagerte die Entwicklung adaptiver Methoden wie Adagrad und Adam, die von Forschern wie David Kaplan und anderen vorangetrieben wurde, den Fokus von manuellen Plänen auf automatische Anpassungen pro Parameter. Heute bleibt die Wahl des Plans ein aktives Forschungsgebiet, wobei Studien die Generalisierungseigenschaften verschiedener Abklingformen über verschiedene Modellfamilien hinweg vergleichen, einschließlich Residualnetzwerken und U-Nets.