Im Machine learning ist die Lernrate ein Tuning-Parameter in einem Optimierungsalgorithmus, der die Schrittgröße bei jeder Iteration bestimmt, während man sich einem Minimum einer Verlustfunktion nähert. Sie beeinflusst, wie stark neu erworbene Informationen alte Informationen überschreiben, metaphorisch die Geschwindigkeit darstellend, mit der ein Modell lernt. In der Literatur zur adaptiven Regelung wird sie oft als Verstärkung bezeichnet. Das Festlegen einer Lernrate beinhaltet einen Kompromiss: Eine zu hohe Rate führt dazu, dass das Modell Minima überschreitet, während eine zu niedrige Rate die Konvergenz verlangsamt oder das Risiko birgt, in unerwünschten lokalen Minima stecken zu bleiben. Lernratenplanung adressiert dies, indem sie die Rate während des Trainings variiert, entweder durch vordefinierte Pläne oder adaptive Methoden.
Rolle in der Optimierung
Die Lernrate bestimmt die Größe des Schritts, der in der Abstiegsrichtung unternommen wird, die normalerweise aus dem Gradienten der Verlustfunktion abgeleitet wird. Im Deep learning werden Modelle trainiert, indem Gewichte iterativ angepasst werden, um eine Verlustfunktion zu minimieren, und die Lernrate kontrolliert, wie aggressiv diese Anpassungen vorgenommen werden. Eine konstante hohe Rate kann zu Oszillationen um ein Minimum führen, während eine konstante niedrige Rate das Training unpraktisch langsam machen kann. Das Planen der Rate über die Zeit hilft, schnellere Konvergenz zu erreichen, Oszillationen zu verhindern, und schlechte lokale Minima zu vermeiden. Die Lernrate kann auch pro Parameter unterschiedlich sein, in welchem Fall sie eine diagonale Matrix wird, die die Inverse der Hessian-Matrix approximiert, wie in Newtons Methode. Dies bezieht sich auf die Schrittlänge in Quasi-Newton-Methoden und inexakter Liniensuche.
Zeitbasierte Pläne
Zeitbasierte Pläne passen die Lernrate bei jeder Iteration basierend auf der vorherigen Rate und einem Abklingparameter an. Die Formel ist \eta_{n+1} = \eta_0 / (1 + d n), wobei \eta_0 die anfängliche Rate ist, d der Abklingparameter ist, und n der Iterationsschritt ist. Dieser Plan reduziert die Rate allmählich, was größere Schritte früher im Training und feinere Anpassungen später ermöglicht. Er ist einfach zu implementierenund erfordert nur einen Hyperparameter, den Abkling d. Allerdings nimmt die Rate monoton ab, was möglicherweise nicht optimal für alle Probleme ist.
Schrittbasierte Pläne
Schrittbasierte Pläne ändern die Lernrate bei vordefinierten Intervallen. Die Rate bei Iteration n ist \eta_n = \eta_0 d^{\lfloor (1+n)/r \rfloor}, wobei d der multiplikative Faktor ist (z.B., 0.5 für Halbierung)und r die Abwurfrate ist (z.B., alle 10 Iterationen). Die Bodenfunktion stellt sicher, dass die Rate zwischen den Abwürfen konstant bleibt. Dieser Plan ist in der Praxis üblich, weil er einfach abzustimmen istund diskrete Reduktionen bietet, die dem Modell helfen können, sich in einem Minimum niederzulassen. Die Wahl von d und r hängt vom Datensatzund der Modellarchitektur ab.
Exponentielle Pläne
Exponentielle Pläne verwenden eine abnehmende Exponentialfunktion: \eta_n = \eta_0 e^{-d n}, wobei d ein Abklingparameter ist. Dies bietet eine glatte, kontinuierliche Reduktion der Lernrate, im Gegensatz zu den diskreten Abwürfen schrittbasierter Pläne. Exponentieller Abkling wird oft im Neural network-Training verwendet, weil er frühe Erkundungmit späterer Verfeinerung ausbalanciert. Der Abklingparameter d kontrolliert, wie schnell die Rate fällt; ein größeres d führt zu schnellerem Abkling, was vorzeitige Konvergenz verursachen kann.
Aufwärmen und Kosinus-Abklingen
Modernes Training, besonders für Large language models, verwendet oft Aufwärmen, wobei die Lernrate von einem kleinen Wert auf einen Höhepunkt über die ersten paar tausend Schritte ansteigt. Dies verhindert Instabilität im frühen Training, wenn Gewichte zufällig sindund Gradienten groß sein können. Nach dem Aufwärmen, kann die Rate unter Verwendung von Kosinus-Abklingen abklingen, was einer Kosinuskurve vom Höhepunkt zu einem nahezu Nullwert folgt. Kosinus-Abklingen hat sich gezeigt, die endgültige Leistung in vielen Transformer (architecture)-basierten Modellen zu verbessern. Einige Pläne kombinieren Aufwärmenmit zyklischen Mustern, wobei die Rate zwischen Grenzen oszilliert, was dem Modell erlaubt, lokale Minima zu entkommenund verschiedene Regionen der Verlustlandschaft zu erkunden.
Impuls und Abkling
Impuls ist eine Technik, die oft mit Lernratenplänen kombiniert wird. Er ist analog zu einem Ball, der einen Hügel hinunterrollt, wobei die Geschwindigkeit des Balls ihn über kleine Unebenheiten trägtund beschleunigt, wenn die Gradientenrichtung konsistent ist. Impuls wird durch einen Hyperparameter kontrolliert, der ähnlich zur Masse ist; ein zu hoher Wert führt dazu, dass das Modell Minima überschreitet, während ein zu niedriger Wert seinen Nutzen reduziert. Abkling, andererseits, dient dazu, Lernen zu beruhigenund Oszillationen zu vermeiden, indem die Schrittgröße über die Zeit reduziert wird. Beide sind typischerweise in Deep-Learning-Bibliotheken wie Keras eingebaut, die Standardimplementierungenund abstimmbare Parameter bereitstellen.
Adaptive Lernraten
Eine Hauptbeschränkung fester Pläne ist ihre Abhängigkeit von manuell gewählten Hyperparametern, die je nach Problemund Modell variieren. Adaptive Gradientenabstiegsalgorithmen adressieren dies, indem sie die Lernrate pro Parameter basierend auf historischen Gradienten anpassen. Häufige Methoden umfassen Adagrad, Adadelta, RMSprop,und Adam. Diese Algorithmen sind allgemein in Deep-Learning-Frameworks eingebautund sind Standard für das Training von Artificial intelligence-Modellen geworden. Adam, eingeführt in 2014, kombiniert Impulsmit pro-Parameter-Skalierungund wird weit verbreitet im Generative AI und anderen Anwendungen verwendet. Adaptive Methoden reduzieren die Notwendigkeit manueller Planabstimmung, obwohl viele Praktiker immer noch einen Plan oben auf ihnen für beste Ergebnisse verwenden.
Praktische Überlegungen
Das Wählen einer anfänglichen Lernrate ist entscheidend. Häufige Techniken umfassen die Verwendung eines Standardwerts, wie 0.01 oder 0.001, oder die Durchführung eines Lernratenbereichstests, wobei die Rate linear über ein paar Epochen erhöht wird, um einen geeigneten Bereich zu finden. Der optimale Plan hängt oft von der Modellgröße, dem Datensatz,und dem Optimierer ab. Zum Beispiel, OpenAIund Google DeepMind haben berichtet, Aufwärmenund Kosinus-Abkling für das Training großer Modelle zu verwenden. In der Praxis werden Pläne oft mit frühem Stoppen kombiniert, wobei das Training anhält, wenn die Validierungsleistung aufhört, sich zu verbessern. Die Wahl des Plans kann die endgültige Modellqualität, die Trainingszeit,und die Stabilität erheblich beeinflussen, was ihn zu einem Schlüssel-Hyperparameter in jeder Trainingspipeline macht.