In maschinellem Lernen und Statistik ist die Lernrate ein Tuning-Parameter in einem Optimierungsalgorithmus, der die Schrittgröße bei jeder Iteration auf dem Weg zu einem Minimum einer Verlustfunktion bestimmt. Da sie beeinflusst, in welchem Ausmaß neu gewonnene Informationen alte Informationen überschreiben, repräsentiert sie metaphorisch die Geschwindigkeit, mit der ein maschinelles Lernmodell „lernt". In der Literatur zur adaptiven Regelung wird die Lernrate üblicherweise als Verstärkung bezeichnet.
Bei der Festlegung einer Lernrate gibt es einen Trade-off zwischen der Konvergenzrate und dem Überschwingen. Während die Abstiegsrichtung normalerweise aus dem Gradienten der Verlustfunktion bestimmt wird, legt die Lernrate fest, wie groß ein Schritt in diese Richtung ist. Eine zu hohe Lernrate führt dazu, dass das Lernen über Minima springt, während eine zu niedrige Lernrate entweder zu lange zur Konvergenz benötigt oder in einem unerwünschten lokalen Minimum stecken bleibt.
Um schnellere Konvergenz zu erreichen, Oszillationen zu verhindern und das Steckenbleiben in unerwünschten lokalen Minima zu vermeiden, wird die Lernrate während des Trainings oft variiert, entweder gemäß einem Lernratenplan oder durch Verwendung einer adaptiven Lernrate. Die Lernrate und ihre Anpassungen können auch pro Parameter unterschiedlich sein, in welchem Fall sie eine Diagonalmatrix ist, die als Näherung der Inversen der Hesse-Matrix im Newton-Verfahren interpretiert werden kann. Die Lernrate steht in Zusammenhang mit der Schrittlänge, die durch inexakte Liniensuche in Quasi-Newton-Verfahren und verwandten Optimierungsalgorithmen bestimmt wird.
Lernratenpläne
Ein Lernratenplan ändert die Lernrate während des Lernens und wird meist zwischen Epochen oder Iterationen geändert. Dies geschieht hauptsächlich mit zwei Parametern: Decay und Momentum. Es gibt viele verschiedene Lernratenpläne, aber die gebräuchlichsten sind zeitbasiert, schrittbasiert und exponentiell.
Decay dient dazu, das Lernen an einem geeigneten Ort zu stabilisieren und Oszillationen zu vermeiden, eine Situation, die auftreten kann, wenn eine zu hohe konstante Lernrate das Lernen über ein Minimum hin und her springen lässt. Decay wird durch einen Hyperparameter gesteuert.
Momentum ist analog zu einem Ball, der einen Hügel hinunterrollt; wir möchten, dass der Ball am tiefsten Punkt des Hügels zur Ruhe kommt (entsprechend dem niedrigsten Fehler). Momentum beschleunigt sowohl das Lernen (Erhöhung der Lernrate), wenn der Fehlerkostengradient lange Zeit in dieselbe Richtung zeigt, als auch vermeidet es lokale Minima, indem es über kleine Unebenheiten „rollt". Momentum wird durch einen Hyperparameter gesteuert, der analog zur Masse eines Balls ist und manuell gewählt werden muss - zu hoch und der Ball rollt über Minima, die wir finden möchten, zu niedrig und es erfüllt seinen Zweck nicht. Die Formel zur Einbeziehung des Momentums ist komplexer als beim Decay, ist aber meist in Deep learning-Bibliotheken wie Keras integriert.
Zeitbasierte Pläne
Zeitbasierte Lernratenpläne ändern die Lernrate abhängig von der Lernrate der vorherigen Zeititeration. Unter Einbeziehung des Decays lautet die mathematische Formel für die Lernrate:
η_{n+1} = η₀ / (1 + d n)
wobei η die Lernrate ist, η₀ die ursprüngliche Lernrate, d ein Decay-Parameter und n der Iterationsschritt.
Schrittbasierte Pläne
Schrittbasierte Lernratenpläne ändern die Lernrate gemäß einigen vordefinierten Schritten. Die Decay-Anwendungsformel ist hier definiert als:
η_n = η₀ d^(⌊(1+n)/r⌋)
wobei η_n die Lernrate bei Iteration n ist, η₀ die anfängliche Lernrate, d wie stark die Lernrate bei jedem Abfall geändert werden soll (0,5 entspricht einer Halbierung) und r der Abfallrate entspricht, also wie oft die Rate abfallen soll (10 entspricht einem Abfall alle 10 Iterationen). Die Floor-Funktion (⌊…⌋) setzt hier den Wert ihrer Eingabe für alle Werte kleiner als 1 auf 0.
Exponentielle Pläne
Exponentielle Lernratenpläne ähneln schrittbasierten Plänen, aber anstelle von Schritten wird eine abnehmende Exponentialfunktion verwendet. Die mathematische Formel zur Einbeziehung des Decays lautet:
η_n = η₀ e^(−d n)
wobei d ein Decay-Parameter ist.
Adaptive Lernrate
Das Problem mit Lernratenplänen ist, dass sie alle von Hyperparametern abhängen, die für jede Lernsession manuell gewählt werden müssen und je nach Problem oder verwendetem Modell stark variieren können. Um dem entgegenzuwirken, gibt es viele verschiedene Arten von adaptiven Gradientenabstiegsalgorithmen wie Adagrad, Adadelta, RMSprop und Adam, die im Allgemeinen in Deep-Learning-Bibliotheken wie Keras integriert sind.
Warmup- und zyklische Pläne
Über die klassischen Decay-Pläne hinaus verwenden moderne Trainings großer Modelle oft Warmup- und zyklische Pläne. Warmup beginnt mit einer kleinen Lernrate und erhöht sie allmählich über einige Epochen, was hilft, das Training in der frühen Phase zu stabilisieren, insbesondere für Transformer (architecture)-basierte Modelle. Zyklische Pläne, wie Cosinus-Annealing, variieren die Lernrate periodisch zwischen einem Minimum und Maximum, was helfen kann, lokale Minima zu verlassen und manchmal die Generalisierung zu verbessern.
Praktische Überlegungen
Die Wahl des Lernratenplans kann das Training von Neural network-Modellen erheblich beeinflussen. Zum Beispiel ist es beim Training von Large language models üblich, ein lineares Warmup gefolgt von einem Cosinus-Decay zu verwenden. Dieser Ansatz wird von Organisationen wie OpenAI und Google DeepMind in ihren groß angelegten Trainingsläufen verwendet. Die anfängliche Lernrate wird oft basierend auf empirischen Regeln oder durch Ausführen eines Lernraten-Finders festgelegt, der eine Reihe von Werten über einige Iterationen testet.
Beziehung zu Optimierungsalgorithmen
Lernratenplanung ist eng mit der Wahl des Optimierungsalgorithmus verbunden. Machine learning-Frameworks wie TensorFlow und PyTorch bieten integrierte Scheduler, die mit Optimierern wie SGD, Adam oder RMSprop kombiniert werden können. Die Interaktion zwischen dem Plan und dem internen Zustand des Optimierers (z. B. Momentum-Puffer in Adam) ist wichtig; zum Beispiel kann eine zu abrupte Reduzierung der Lernrate dazu führen, dass der Optimierer überschießt.
Geschichte und Entwicklung
Das Konzept der Anpassung der Lernrate während des Trainings geht auf frühe Arbeiten in Artificial intelligence und Machine learning zurück. Forscher wie Thomas G. Dietterich und Michael I. Jordan trugen zum grundlegenden Verständnis der Optimierung in Lernsystemen bei. In den 2010er Jahren brachte der Aufstieg des Deep Learnings erneute Aufmerksamkeit auf die Planung, wobei Arbeiten über zyklische Lernraten und Warmup weithin zitiert wurden.