En apprentissage automatique, le taux d'apprentissage est un paramètre de réglage dans un algorithme d'optimisation qui détermine la taille du pas à chaque itération lors de la progression vers un minimum d'une fonction de perte. Comme il influence la mesure dans laquelle les informations nouvellement acquises remplacent les anciennes informations, il représente métaphoriquement la vitesse à laquelle un modèle d'apprentissage automatique « apprend ». Dans la littérature sur le contrôle adaptatif, le taux d'apprentissage est couramment appelé gain.
Lors du réglage d'un taux d'apprentissage, il existe un compromis entre la vitesse de convergence et le dépassement. Alors que la direction de descente est généralement déterminée à partir du gradient de la fonction de perte, le taux d'apprentissage détermine l'ampleur du pas effectué dans cette direction. Un taux d'apprentissage trop élevé fera sauter l'apprentissage par-dessus les minima, mais un taux d'apprentissage trop faible prendra soit trop de temps pour converger, soit restera bloqué dans un minimum local indésirable.
Les taux d'apprentissage cycliques (CLR) sont une méthode d'entraînement qui aborde ce compromis en faisant varier périodiquement le taux d'apprentissage entre une borne inférieure et une borne supérieure, plutôt que de le diminuer de manière monotone. Cette approche, introduite par Leslie N. Smith en 2015, est conçue pour améliorer la vitesse de convergence et la précision du modèle sans nécessiter un réglage manuel approfondi du calendrier du taux d'apprentissage.
Motivation et idée centrale
Les calendriers traditionnels de taux d'apprentissage, tels que ceux basés sur le temps, par étapes et à décroissance exponentielle, réduisent le taux d'apprentissage au fil des époques pour stabiliser le modèle dans un minimum. Cependant, ces calendriers reposent sur des hyperparamètres qui doivent être choisis manuellement pour chaque problème, et un calendrier mal choisi peut entraîner une convergence lente ou des performances finales médiocres.
Les taux d'apprentissage cycliques exploitent l'observation qu'un taux d'apprentissage modérément élevé peut agir comme un régularisateur, aidant le modèle à échapper aux minima locaux abrupts et à trouver des minima plus plats et plus généralisables. En faisant varier le taux d'apprentissage de manière cyclique, le modèle explore périodiquement des régions du paysage de perte avec des pas plus grands, puis affine avec des pas plus petits. Cette approche peut réduire le besoin d'un réglage approfondi des hyperparamètres et donne souvent une meilleure précision qu'un taux fixe ou à décroissance monotone.
La méthode est particulièrement efficace dans les contextes de apprentissage profond, où les paysages de perte sont de haute dimension et non convexes. Le motif cyclique permet à l'optimiseur de traverser les points de selle et les vallées étroites plus efficacement qu'un taux constant.
Calendriers triangulaires et variantes
Le calendrier CLR le plus basique est la politique triangulaire, où le taux d'apprentissage augmente linéairement d'une borne inférieure à une borne supérieure, puis diminue linéairement jusqu'à la borne inférieure, répétant ce cycle. La longueur du cycle est définie comme le nombre d'itérations pour une période complète d'augmentation-diminution. Une variante courante, triangular2, réduit de moitié l'amplitude de la plage du taux d'apprentissage après chaque cycle, réduisant progressivement la plage d'exploration au fil du temps.
Une autre variante, la politique triangulaire exponentielle, applique une décroissance exponentielle à l'amplitude de chaque cycle, combinant les avantages de l'exploration cyclique avec la stabilité d'un calendrier décroissant. Ces variantes permettent aux praticiens d'équilibrer l'exploration et l'exploitation au fur et à mesure que l'entraînement progresse.
Le choix des bornes est critique. Smith a recommandé de définir la borne inférieure à une valeur qui permet à l'apprentissage de progresser, et la borne supérieure à une valeur suffisamment élevée pour provoquer une certaine oscillation mais pas assez pour diverger. Une heuristique pratique consiste à effectuer un test de plage de taux d'apprentissage, où le taux d'apprentissage est augmenté linéairement sur un petit nombre d'itérations, et la perte est surveillée pour identifier la plage où la perte diminue le plus rapidement.
Test de plage de taux d'apprentissage
Le test de plage de taux d'apprentissage est une technique utilisée pour sélectionner les bornes appropriées pour CLR. Dans ce test, le taux d'apprentissage est augmenté linéairement d'une valeur très petite à une valeur grande sur quelques époques, et la perte d'entraînement est enregistrée. Le praticien trace ensuite la perte en fonction du taux d'apprentissage et sélectionne la borne inférieure comme le point où la perte commence à diminuer, et la borne supérieure comme le point où la perte cesse de s'améliorer ou commence à augmenter.
Ce test fournit un moyen systématique de définir les bornes cycliques, réduisant les conjectures impliquées dans le choix des hyperparamètres. Il est particulièrement utile dans les flux de travail d'intelligence artificielle où les modèles sont entraînés à plusieurs reprises avec différentes architectures ou ensembles de données.
Relation avec les méthodes adaptatives
Les taux d'apprentissage cycliques sont distincts des méthodes de taux d'apprentissage adaptatif telles que Adagrad, Adadelta, RMSprop et Adam, qui ajustent le taux d'apprentissage par paramètre en fonction de l'historique du gradient. Ces méthodes adaptatives sont intégrées dans de nombreuses bibliothèques de apprentissage profond, telles que Keras, et sont souvent utilisées comme optimiseur de base en conjonction avec CLR. En pratique, CLR peut être appliqué par-dessus les optimiseurs adaptatifs, faisant varier le taux d'apprentissage global tandis que l'optimiseur continue d'ajuster les échelles par paramètre.
Certaines recherches suggèrent que CLR peut améliorer les performances des méthodes adaptatives en les empêchant de se stabiliser trop rapidement dans des minima abrupts. La variation cyclique agit comme une forme de recuit qui peut aider le modèle à échapper à de mauvaises solutions.
Applications dans l'IA moderne
Les taux d'apprentissage cycliques ont été largement adoptés dans l'entraînement de modèles de réseaux de neurones, y compris les architectures de grands modèles de langage. Par exemple, les praticiens d'organisations comme OpenAI et Google DeepMind ont utilisé des calendriers cycliques ou similaires de réchauffement et de décroissance pour entraîner des modèles sur des ensembles de données massifs. La technique est également courante dans les tâches de vision par ordinateur et de traitement du langage naturel, où il a été démontré qu'elle améliore la précision sur les ensembles de données de référence.
La méthode est particulièrement précieuse dans les scénarios d'apprentissage par transfert et de réglage fin, où un modèle pré-entraîné est adapté à une nouvelle tâche. Un calendrier cyclique peut aider le modèle à s'adapter sans oubli catastrophique, car les taux d'apprentissage élevés périodiques permettent au modèle d'explorer de nouveaux espaces de caractéristiques tandis que les taux faibles préservent les représentations précédemment apprises.
Considérations pratiques
La mise en œuvre de CLR nécessite de spécifier la longueur du cycle et les bornes. La longueur du cycle est souvent définie comme un multiple du nombre d'itérations par époque, comme 2 à 10 époques par cycle. Des cycles plus courts permettent une exploration plus fréquente, tandis que des cycles plus longs fournissent un entraînement plus stable dans chaque phase.
Un piège courant est de définir la borne supérieure trop élevée, ce qui peut faire diverger la perte. Le test de plage de taux d'apprentissage atténue ce risque. De plus, CLR peut ne pas être bénéfique pour tous les problèmes ; pour des tâches d'optimisation convexes très simples, un taux constant ou décroissant peut suffire.
Dans les environnements d'entraînement distribués, tels que ceux utilisant Amazon Web Services ou Google Cloud, CLR peut être mis en œuvre avec un surcoût minimal, car il ne nécessite que l'ajustement du taux d'apprentissage à chaque itération. De nombreux frameworks d'apprentissage profond, y compris PyTorch et TensorFlow, offrent un support intégré pour les calendriers cycliques.
Voir aussi
Références
- Smith, Leslie N. (2015). « Cyclical Learning Rates for Training Neural Networks. » arXiv:1506.01186.
- Smith, Leslie N. (2017). « Cyclical Learning Rates for Training Neural Networks. » IEEE Winter Conference on Applications of Computer Vision.
- Géron, Aurélien (2017). « Gradient Descent. » Hands-On Machine Learning with Scikit-Learn and TensorFlow. O'Reilly. pp. 113–124. ISBN 978-1-4919-6229-9.
- Plagianakos, V. P.; Magoulas, G. D.; Vrahatis, M. N. (2001). « Learning Rate Adaptation in Stochastic Gradient Descent. » Advances in Convex Analysis and Global Optimization. Kluwer. pp. 433–444. ISBN 0-7923-6942-4.