In maschinellem Lernen ist die Lernrate ein Abstimmungsparameter in einem Optimierungsalgorithmus, der die Schrittgröße bei jeder Iteration auf dem Weg zu einem Minimum einer Verlustfunktion bestimmt. Da sie beeinflusst, in welchem Ausmaß neu gewonnene Informationen alte Informationen überschreiben, stellt sie metaphorisch die Geschwindigkeit dar, mit der ein Modell des maschinellen Lernens „lernt“. In der Literatur zur adaptiven Regelung wird die Lernrate üblicherweise als Verstärkung bezeichnet.
Bei der Festlegung einer Lernrate gibt es einen Kompromiss zwischen der Konvergenzgeschwindigkeit und dem Überschwingen. Während die Abstiegsrichtung normalerweise aus dem Gradienten der Verlustfunktion bestimmt wird, legt die Lernrate fest, wie groß ein Schritt in diese Richtung ist. Eine zu hohe Lernrate führt dazu, dass das Lernen über Minima hinwegspringt, während eine zu niedrige Lernrate entweder zu lange zur Konvergenz benötigt oder in einem unerwünschten lokalen Minimum stecken bleibt.
Zyklische Lernraten (CLR) sind eine Trainingsmethode, die diesen Kompromiss adressiert, indem sie die Lernrate periodisch zwischen einer unteren und einer oberen Grenze variiert, anstatt sie monoton zu verringern. Dieser Ansatz, eingeführt von Leslie N. Smith im Jahr 2015, zielt darauf ab, die Konvergenzgeschwindigkeit und die Modellgenauigkeit zu verbessern, ohne dass eine umfangreiche manuelle Abstimmung des Lernratenplans erforderlich ist.
Motivation und Kernidee
Traditionelle Lernratenpläne, wie zeitbasierte, schrittbasierte und exponentielle Abklingverfahren, reduzieren die Lernrate über Epochen, um das Modell in einem Minimum zu stabilisieren. Diese Pläne hängen jedoch von Hyperparametern ab, die für jedes Problem manuell gewählt werden müssen, und ein schlecht gewählter Plan kann zu langsamer Konvergenz oder schlechter Endleistung führen.
Zyklische Lernraten nutzen die Beobachtung, dass eine moderat hohe Lernrate als Regularisierer wirken kann, der dem Modell hilft, scharfe lokale Minima zu verlassen und flachere, besser generalisierbare Minima zu finden. Durch das Zyklieren der Lernrate erkundet das Modell periodisch Regionen der Verlustlandschaft mit größeren Schritten und verfeinert dann mit kleineren Schritten. Dieser Ansatz kann den Bedarf an umfangreicher Hyperparameter-Abstimmung reduzieren und führt oft zu besserer Genauigkeit als eine feste oder monoton abklingende Rate.
Die Methode ist besonders effektiv in Deep learning-Kontexten, in denen Verlustlandschaften hochdimensional und nicht-konvex sind. Das zyklische Muster ermöglicht es dem Optimierer, Sattelpunkte und enge Täler effektiver zu durchqueren als mit einer konstanten Rate.
Dreieckige und Variantenpläne
Der grundlegendste CLR-Plan ist die dreieckige Politik, bei der die Lernrate linear von einer unteren Grenze zu einer oberen Grenze ansteigt und dann linear zurück zur unteren Grenze abfällt, wobei dieser Zyklus wiederholt wird. Die Zykluslänge ist definiert als die Anzahl der Iterationen für eine vollständige Anstiegs-Abfall-Periode. Eine häufige Variante, dreieckig2, halbiert die Amplitude des Lernratenbereichs nach jedem Zyklus und reduziert so den Erkundungsbereich im Laufe der Zeit.
Eine weitere Variante, die exponentielle dreieckige Politik, wendet einen exponentiellen Abfall auf die Amplitude jedes Zyklus an und kombiniert die Vorteile der zyklischen Erkundung mit der Stabilität eines abklingenden Plans. Diese Varianten ermöglichen es Praktikern, Erkundung und Ausnutzung im Verlauf des Trainings auszubalancieren.
Die Wahl der Grenzen ist entscheidend. Smith empfahl, die untere Grenze auf einen Wert zu setzen, der das Lernen ermöglicht, und die obere Grenze auf einen Wert, der hoch genug ist, um etwas Oszillation zu verursachen, aber nicht so hoch, dass es divergiert. Eine praktische Heuristik ist ein Lernratenbereichstest, bei dem die Lernrate linear über eine kleine Anzahl von Iterationen erhöht wird und die Verlustfunktion überwacht wird, um den Bereich zu identifizieren, in dem die Verlustfunktion am schnellsten abnimmt.
Lernratenbereichstest
Der Lernratenbereichstest ist eine Technik zur Auswahl geeigneter Grenzen für CLR. In diesem Test wird die Lernrate linear von einem sehr kleinen Wert auf einen großen Wert über einige Epochen erhöht, und der Trainingsverlust wird aufgezeichnet. Der Praktiker zeichnet dann den Verlust gegen die Lernrate auf und wählt die untere Grenze als den Punkt, an dem der Verlust zu sinken beginnt, und die obere Grenze als den Punkt, an dem der Verlust aufhört, sich zu verbessern oder zu steigen beginnt.
Dieser Test bietet eine systematische Möglichkeit, die zyklischen Grenzen festzulegen, und reduziert das Rätselraten bei der Auswahl von Hyperparametern. Er ist besonders nützlich in Artificial intelligence-Arbeitsabläufen, in denen Modelle wiederholt mit verschiedenen Architekturen oder Datensätzen trainiert werden.
Beziehung zu adaptiven Methoden
Zyklische Lernraten unterscheiden sich von adaptiven Lernratenmethoden wie Adagrad, Adadelta, RMSprop und Adam, die die Lernrate pro Parameter basierend auf der Gradientenhistorie anpassen. Diese adaptiven Methoden sind in vielen Deep learning-Bibliotheken wie Keras integriert und werden oft als Basisoptimierer in Verbindung mit CLR verwendet. In der Praxis kann CLR auf adaptiven Optimierern angewendet werden, indem die globale Lernrate zyklisiert wird, während der Optimierer weiterhin die Skalen pro Parameter anpasst.
Einige Forschungen deuten darauf hin, dass CLR die Leistung adaptiver Methoden verbessern kann, indem verhindert wird, dass sie zu schnell in scharfe Minima abgleiten. Die zyklische Variation wirkt als eine Form des Ausglühens, die dem Modell helfen kann, schlechte Lösungen zu verlassen.
Anwendungen in der modernen KI
Zyklische Lernraten wurden weitgehend beim Training von Neural network-Modellen übernommen, einschließlich Large language model-Architekturen. Beispielsweise haben Praktiker bei Organisationen wie OpenAI und Google DeepMind zyklische oder ähnliche Aufwärm- und Abklingpläne verwendet, um Modelle auf massiven Datensätzen zu trainieren. Die Technik ist auch in der Computer Vision und bei Aufgaben der natürlichen Sprachverarbeitung üblich, wo sie nachweislich die Genauigkeit auf Benchmark-Datensätzen verbessert.
Die Methode ist besonders wertvoll beim Transferlernen und bei Feinabstimmungsszenarien, in denen ein vortrainiertes Modell an eine neue Aufgabe angepasst wird. Ein zyklischer Plan kann dem Modell helfen, sich ohne katastrophales Vergessen anzupassen, da die periodischen hohen Lernraten dem Modell ermöglichen, neue Merkmalsräume zu erkunden, während die niedrigen Raten zuvor gelernte Darstellungen bewahren.
Praktische Überlegungen
Die Implementierung von CLR erfordert die Angabe der Zykluslänge und der Grenzen. Die Zykluslänge wird oft als ein Vielfaches der Anzahl der Iterationen pro Epoche festgelegt, wie 2 bis 10 Epochen pro Zyklus. Kürzere Zyklen ermöglichen häufigere Erkundungen, während längere Zyklen stabileres Training innerhalb jeder Phase bieten.
Eine häufige Falle ist das Setzen der oberen Grenze zu hoch, was dazu führen kann, dass die Verlustfunktion divergiert. Der Lernratenbereichstest mindert dieses Risiko. Zusätzlich ist CLR möglicherweise nicht für alle Probleme vorteilhaft; für sehr einfache konvexe Optimierungsaufgaben kann eine konstante oder abklingende Rate ausreichen.
In verteilten Trainingsumgebungen, wie solchen mit Amazon Web Services oder Google Cloud, kann CLR mit minimalem Overhead implementiert werden, da es nur die Anpassung der Lernrate bei jeder Iteration erfordert. Viele Deep-Learning-Frameworks, einschließlich PyTorch und TensorFlow, bieten integrierte Unterstützung für zyklische Pläne.
Siehe auch
Referenzen
- Smith, Leslie N. (2015). „Cyclical Learning Rates for Training Neural Networks.“ arXiv:1506.01186.
- Smith, Leslie N. (2017). „Cyclical Learning Rates for Training Neural Networks.“ IEEE Winter Conference on Applications of Computer Vision.
- Géron, Aurélien (2017). „Gradient Descent.“ Hands-On Machine Learning with Scikit-Learn and TensorFlow. O'Reilly. S. 113–124. ISBN 978-1-4919-6229-9.
- Plagianakos, V. P.; Magoulas, G. D.; Vrahatis, M. N. (2001). „Learning Rate Adaptation in Stochastic Gradient Descent.“ Advances in Convex Analysis and Global Optimization. Kluwer. S. 433–444. ISBN 0-7923-6942-4.