In maschinellem Lernen und Statistik ist die Lernrate ein Abstimmungsparameter in einem Optimierungsalgorithmus, der die Schrittgröße bei jeder Iteration auf dem Weg zu einem Minimum einer Verlustfunktion bestimmt. Da sie beeinflusst, in welchem Ausmaß neu gewonnene Informationen alte Informationen überschreiben, repräsentiert sie metaphorisch die Geschwindigkeit, mit der ein Modell für maschinelles Lernen „lernt“. In der Literatur zur adaptiven Regelung wird die Lernrate üblicherweise als Verstärkung bezeichnet.
Das Festlegen einer Lernrate beinhaltet einen Kompromiss zwischen der Konvergenzrate und dem Überschwingen. Während die Abstiegsrichtung normalerweise aus dem Gradienten der Verlustfunktion bestimmt wird, legt die Lernrate fest, wie groß ein Schritt in diese Richtung ist. Eine zu hohe Lernrate führt dazu, dass das Lernen über Minima hinwegspringt, während eine zu niedrige Lernrate entweder zu lange zur Konvergenz benötigt oder in einem unerwünschten lokalen Minimum stecken bleibt. Um schnellere Konvergenz zu erreichen, Oszillationen zu verhindern und das Steckenbleiben in unerwünschten lokalen Minima zu vermeiden, wird die Lernrate während des Trainings oft variiert, entweder gemäß einem Lernratenplan oder durch Verwendung einer adaptiven Lernrate. Die Lernrate und ihre Anpassungen können auch pro Parameter unterschiedlich sein, in welchem Fall sie eine Diagonalmatrix ist, die als Näherung der Inversen der Hesse-Matrix im Newton-Verfahren interpretiert werden kann. Die Lernrate steht in Zusammenhang mit der Schrittlänge, die durch inexakte Liniensuche in Quasi-Newton-Verfahren und verwandten Optimierungsalgorithmen bestimmt wird.
Lernratenpläne
Die anfängliche Rate kann als Systemstandard belassen oder mithilfe einer Reihe von Techniken ausgewählt werden. Ein Lernratenplan ändert die Lernrate während des Lernens und wird meist zwischen Epochen oder Iterationen geändert. Dies erfolgt hauptsächlich mit zwei Parametern: Abklingrate und Momentum. Es gibt viele verschiedene Lernratenpläne, aber die gebräuchlichsten sind zeitbasiert, schrittbasiert und exponentiell.
Die Abklingrate dient dazu, das Lernen an einem geeigneten Ort zu stabilisieren und Oszillationen zu vermeiden, eine Situation, die auftreten kann, wenn eine zu hohe konstante Lernrate das Lernen über ein Minimum hin- und herspringen lässt. Sie wird durch einen Hyperparameter gesteuert.
Momentum ist analog zu einem Ball, der einen Hügel hinunterrollt; das Ziel ist, dass der Ball am tiefsten Punkt des Hügels zur Ruhe kommt (entsprechend dem geringsten Fehler). Momentum beschleunigt sowohl das Lernen (Erhöhung der Lernrate), wenn der Gradient der Fehlerkosten lange Zeit in dieselbe Richtung zeigt, als auch vermeidet es lokale Minima, indem es über kleine Unebenheiten „hinwegrollt“. Momentum wird durch einen Hyperparameter gesteuert, der analog zur Masse eines Balls ist und manuell gewählt werden muss - zu hoch und der Ball rollt über Minima, die wir finden möchten, zu niedrig und es erfüllt seinen Zweck nicht. Die Formel zur Einbeziehung des Momentums ist komplexer als bei der Abklingrate, ist aber meist in Deep-Learning-Bibliotheken wie Keras integriert.
Zeitbasierte Lernratenpläne ändern die Lernrate abhängig von der Lernrate der vorherigen Zeititeration. Unter Einbeziehung der Abklingrate lautet die mathematische Formel für die Lernrate:
η_{n+1} = η₀ / (1 + d n)
wobei η die Lernrate ist, η₀ die ursprüngliche Lernrate, d ein Abklingparameter und n der Iterationsschritt.
Schrittbasierte Lernratenpläne ändern die Lernrate gemäß einigen vordefinierten Schritten. Die Formel für die Anwendung der Abklingrate ist definiert als:
η_n = η₀ d^(⌊(1+n)/r⌋)
wobei η_n die Lernrate bei Iteration n ist, η₀ die anfängliche Lernrate, d wie stark sich die Lernrate bei jedem Abfall ändern soll (0,5 entspricht einer Halbierung) und r der Abfallrate entspricht, also wie oft die Rate abfallen soll (10 entspricht einem Abfall alle 10 Iterationen). Die Abrundungsfunktion (⌊…⌋) setzt den Wert ihrer Eingabe für alle Werte kleiner als 1 auf 0.
Exponentielle Lernratenpläne ähneln schrittbasierten, aber anstelle von Schritten wird eine abnehmende Exponentialfunktion verwendet. Die mathematische Formel zur Einbeziehung der Abklingrate lautet:
η_n = η₀ e^(−d n)
wobei d ein Abklingparameter ist.
Adaptive Lernrate
Das Problem mit Lernratenplänen ist, dass sie alle von Hyperparametern abhängen, die für jede Lernsession manuell gewählt werden müssen und je nach Problem oder verwendetem Modell stark variieren können. Um dem entgegenzuwirken, gibt es viele verschiedene Arten von adaptiven Gradientenabstiegsalgorithmen wie Adagrad, Adadelta, RMSprop und Adam, die allgemein in Deep-Learning-Bibliotheken wie Keras integriert sind.
Rolle im Deep Learning
Lernratenplaner sind eine kritische Komponente beim Training moderner neuronaler Netze, einschließlich Deep-Learning-Modellen und großen Sprachmodellen. In der Praxis bieten Frameworks wie TensorFlow und PyTorch integrierte Implementierungen von Planern. Beispielsweise verwenden OpenAI und Anthropic hochentwickelte Planungstechniken beim Training ihrer transformerbasierten Modelle, um stabile Konvergenz zu gewährleisten. Ebenso setzen Google DeepMind und Meta AI benutzerdefinierte Planer für groß angelegte Trainingsläufe ein.
Praktische Überlegungen
Die Auswahl eines geeigneten Lernratenplans erfordert oft Experimentieren. Übliche Praktiken umfassen eine Aufwärmphase, in der die Lernrate linear von einem kleinen Wert ansteigt, gefolgt von einer Abklingphase. Dieser Ansatz hilft, das Training in den frühen Iterationen zu stabilisieren. Zusätzlich haben einige Planer wie Kosinus-Abkühlung und zyklische Lernraten an Beliebtheit gewonnen, da sie scharfe Minima vermeiden können.
Siehe auch
- maschinelles Lernen
- Optimierung
- Gradientenabstieg
- Hyperparameter-Abstimmung