En aprendizaje automático, la tasa de aprendizaje es un parámetro de ajuste en un algoritmo de optimización que determina el tamaño del paso en cada iteración mientras se avanza hacia un mínimo de una función de pérdida. Dado que influye en la medida en que la información recién adquirida reemplaza a la información antigua, representa metafóricamente la velocidad a la que un modelo de aprendizaje automático "aprende". En la literatura sobre control adaptativo, la tasa de aprendizaje se denomina comúnmente ganancia.
Al establecer una tasa de aprendizaje, existe un equilibrio entre la velocidad de convergencia y el sobrepaso. Mientras que la dirección de descenso generalmente se determina a partir del gradiente de la función de pérdida, la tasa de aprendizaje determina qué tan grande es el paso que se da en esa dirección. Una tasa de aprendizaje demasiado alta hará que el aprendizaje salte por encima de los mínimos, pero una tasa demasiado baja hará que la convergencia tarde demasiado o que el modelo se quede atascado en un mínimo local no deseado.
Las tasas de aprendizaje cíclicas (CLR) son un método de entrenamiento que aborda este equilibrio variando periódicamente la tasa de aprendizaje entre un límite inferior y un límite superior, en lugar de disminuirla monótonamente. Este enfoque, introducido por Leslie N. Smith en 2015, está diseñado para mejorar la velocidad de convergencia y la precisión del modelo sin requerir un ajuste manual extenso del programa de tasas de aprendizaje.
Motivación e Idea Central
Los programas tradicionales de tasas de aprendizaje, como los de decrecimiento basado en tiempo, en pasos y exponencial, reducen la tasa de aprendizaje a lo largo de las épocas para asentar el modelo en un mínimo. Sin embargo, estos programas dependen de hiperparámetros que deben elegirse manualmente para cada problema, y un programa mal elegido puede llevar a una convergencia lenta o a un rendimiento final deficiente.
Las tasas de aprendizaje cíclicas aprovechan la observación de que una tasa de aprendizaje moderadamente alta puede actuar como un regularizador, ayudando al modelo a escapar de mínimos locales pronunciados y a encontrar mínimos más planos y generalizables. Al ciclar la tasa de aprendizaje, el modelo explora periódicamente regiones del paisaje de pérdida con pasos más grandes y luego refina con pasos más pequeños. Este enfoque puede reducir la necesidad de un ajuste extenso de hiperparámetros y a menudo produce una mejor precisión que una tasa fija o que decrece monótonamente.
El método es particularmente efectivo en contextos de aprendizaje profundo, donde los paisajes de pérdida son de alta dimensión y no convexos. El patrón cíclico permite al optimizador atravesar puntos de silla y valles estrechos de manera más efectiva que una tasa constante.
Programas Triangular y Variantes
El programa CLR más básico es la política triangular, donde la tasa de aprendizaje aumenta linealmente desde un límite inferior hasta un límite superior, luego disminuye linealmente de vuelta al límite inferior, repitiendo este ciclo. La longitud del ciclo se define como el número de iteraciones para un período completo de aumento-disminución. Una variante común, triangular2, reduce a la mitad la amplitud del rango de la tasa de aprendizaje después de cada ciclo, reduciendo gradualmente el rango de exploración con el tiempo.
Otra variante, la política triangular exponencial, aplica un decrecimiento exponencial a la amplitud de cada ciclo, combinando los beneficios de la exploración cíclica con la estabilidad de un programa de decrecimiento. Estas variantes permiten a los profesionales equilibrar la exploración y la explotación a medida que avanza el entrenamiento.
La elección de los límites es crítica. Smith recomendó establecer el límite inferior en un valor que permita que el aprendizaje avance, y el límite superior en un valor que sea lo suficientemente alto como para causar cierta oscilación pero no tan alto como para divergir. Una heurística práctica es realizar una prueba de rango de tasa de aprendizaje, donde la tasa de aprendizaje se aumenta linealmente durante un pequeño número de iteraciones y se monitorea la pérdida para identificar el rango donde la pérdida disminuye más rápidamente.
Prueba de Rango de Tasa de Aprendizaje
La prueba de rango de tasa de aprendizaje es una técnica utilizada para seleccionar límites apropiados para CLR. En esta prueba, la tasa de aprendizaje se aumenta linealmente desde un valor muy pequeño hasta un valor grande durante unas pocas épocas, y se registra la pérdida de entrenamiento. El profesional luego grafica la pérdida versus la tasa de aprendizaje y selecciona el límite inferior como el punto donde la pérdida comienza a disminuir, y el límite superior como el punto donde la pérdida deja de mejorar o comienza a aumentar.
Esta prueba proporciona una forma sistemática de establecer los límites cíclicos, reduciendo la conjetura involucrada en la elección de hiperparámetros. Es particularmente útil en flujos de trabajo de inteligencia artificial donde los modelos se entrenan repetidamente con diferentes arquitecturas o conjuntos de datos.
Relación con Métodos Adaptativos
Las tasas de aprendizaje cíclicas son distintas de los métodos de tasa de aprendizaje adaptativa como Adagrad, Adadelta, RMSprop y Adam, que ajustan la tasa de aprendizaje por parámetro basándose en el historial de gradientes. Estos métodos adaptativos están integrados en muchas bibliotecas de aprendizaje profundo, como Keras, y a menudo se utilizan como optimizador base en conjunto con CLR. En la práctica, CLR se puede aplicar sobre optimizadores adaptativos, ciclando la tasa de aprendizaje global mientras el optimizador continúa ajustando las escalas por parámetro.
Alguna investigación sugiere que CLR puede mejorar el rendimiento de los métodos adaptativos al evitar que se asienten demasiado rápido en mínimos pronunciados. La variación cíclica actúa como una forma de recocido que puede ayudar al modelo a escapar de soluciones pobres.
Aplicaciones en IA Moderna
Las tasas de aprendizaje cíclicas han sido ampliamente adoptadas en el entrenamiento de modelos de redes neuronales, incluidas arquitecturas de modelos de lenguaje grandes. Por ejemplo, profesionales en organizaciones como OpenAI y Google DeepMind han utilizado programas cíclicos o similares de calentamiento y decrecimiento para entrenar modelos en conjuntos de datos masivos. La técnica también es común en tareas de visión por computadora y procesamiento de lenguaje natural, donde se ha demostrado que mejora la precisión en conjuntos de datos de referencia.
El método es particularmente valioso en escenarios de aprendizaje por transferencia y ajuste fino, donde un modelo preentrenado se adapta a una nueva tarea. Un programa cíclico puede ayudar al modelo a adaptarse sin olvido catastrófico, ya que las tasas de aprendizaje altas periódicas permiten al modelo explorar nuevos espacios de características mientras que las tasas bajas preservan representaciones previamente aprendidas.
Consideraciones Prácticas
Implementar CLR requiere especificar la longitud del ciclo y los límites. La longitud del ciclo a menudo se establece en un múltiplo del número de iteraciones por época, como de 2 a 10 épocas por ciclo. Ciclos más cortos permiten una exploración más frecuente, mientras que ciclos más largos proporcionan un entrenamiento más estable dentro de cada fase.
Un error común es establecer el límite superior demasiado alto, lo que puede hacer que la pérdida diverja. La prueba de rango de tasa de aprendizaje mitiga este riesgo. Además, CLR puede no ser beneficioso para todos los problemas; para tareas de optimización convexa muy simples, una tasa constante o decreciente puede ser suficiente.
En entornos de entrenamiento distribuido, como los que utilizan Amazon Web Services o Google Cloud, CLR se puede implementar con una sobrecarga mínima, ya que solo requiere ajustar la tasa de aprendizaje en cada iteración. Muchos marcos de aprendizaje profundo, incluidos PyTorch y TensorFlow, proporcionan soporte integrado para programas cíclicos.
Véase También
Referencias
- Smith, Leslie N. (2015). "Cyclical Learning Rates for Training Neural Networks." arXiv:1506.01186.
- Smith, Leslie N. (2017). "Cyclical Learning Rates for Training Neural Networks." IEEE Winter Conference on Applications of Computer Vision.
- Géron, Aurélien (2017). "Gradient Descent." Hands-On Machine Learning with Scikit-Learn and TensorFlow. O'Reilly. pp. 113–124. ISBN 978-1-4919-6229-9.
- Plagianakos, V. P.; Magoulas, G. D.; Vrahatis, M. N. (2001). "Learning Rate Adaptation in Stochastic Gradient Descent." Advances in Convex Analysis and Global Optimization. Kluwer. pp. 433–444. ISBN 0-7923-6942-4.