El aprendizaje curricular es una técnica en el Machine learning en la que un modelo se entrena con ejemplos de dificultad creciente, donde la definición de "dificultad" puede proporcionarse externamente o descubrirse como parte del proceso de entrenamiento. Esto tiene como objetivo alcanzar un buen rendimiento más rápidamente, o converger a un óptimo local mejor si no se encuentra el óptimo global. Se basa en la idea intuitiva, extraída del aprendizaje humano y animal, de que comenzar con problemas más simples puede ayudar a un aprendiz a construir una base antes de abordar tareas más complejas.
El método se ha convertido en una herramienta importante en el Deep learning moderno y la Artificial intelligence, con aplicaciones que van desde el procesamiento del lenguaje natural hasta la conducción autónoma. Aunque no todos los problemas se benefician del aprendizaje curricular, ha demostrado éxito en diversos dominios, actuando a menudo como una forma de regularización que ayuda a evitar mínimos locales deficientes. La idea central sigue siendo la misma: los datos de entrenamiento se presentan en un orden de dificultad creciente, en lugar de hacerlo de una sola vez o de manera aleatoria.
Definición de dificultad
Un desafío central en el aprendizaje curricular es definir qué hace que un ejemplo sea "fácil" o "difícil". Esto puede hacerse de varias maneras, dependiendo del dominio y de los recursos disponibles. Un enfoque común es utilizar la anotación humana, donde expertos etiquetan los ejemplos según su complejidad. Por ejemplo, en el entrenamiento de Large language models, las frases más cortas podrían clasificarse como más fáciles que las más largas. Alternativamente, se puede emplear una heurística externa que asigne puntuaciones de dificultad basándose en propiedades como la frecuencia de las palabras, la resolución de las imágenes o el número de objetos en una escena.
Otro enfoque consiste en utilizar el rendimiento de un modelo separado para automatizar la determinación de la dificultad. Los ejemplos que un modelo preentrenado predice con precisión se consideran más fáciles, mientras que aquellos que se clasifican incorrectamente se consideran más difíciles. Este método tiene una conexión cercana con el boosting, donde los aprendices débiles se combinan centrándose en los errores. La dificultad también puede medirse dinámicamente durante el entrenamiento, por ejemplo, rastreando la pérdida del modelo en ejemplos individuales, lo que conduce a estrategias de aprendizaje autodirigido.
Las variaciones en la definición de dificultad pueden afectar significativamente los resultados. Por ejemplo, en el reconocimiento de imágenes, un modelo podría aprender primero formas más simples, como cuadrados y círculos, antes de pasar a escenas complejas con objetos superpuestos. En el Reinforcement learning, un juego puede simplificarse reduciendo el número de enemigos o eliminando obstáculos, para luego restaurar progresivamente el entorno completo a medida que el agente domina lo básico.
Estrategias de programación
Una vez definida la dificultad, el siguiente paso es decidir el programa para aumentarla. Los enfoques simples utilizan un programa fijo, como presentar ejemplos fáciles durante la primera mitad de las iteraciones de entrenamiento y luego mezclar todos los ejemplos en la segunda mitad. Esto puede ser efectivo, pero corre el riesgo de introducir ejemplos difíciles prematuramente, antes de que el modelo esté preparado para ellos.
Los métodos más adaptativos, a menudo denominados aprendizaje autodirigido, ajustan la dificultad en función del rendimiento actual del modelo. Si el modelo logra una alta precisión con los ejemplos fáciles, el algoritmo introduce automáticamente ejemplos más difíciles; si el rendimiento cae, puede volver a datos más simples. Esto proporciona un equilibrio dinámico entre el aprendizaje y el olvido. Otra variación utiliza un programa probabilístico, donde los ejemplos se extraen de una distribución que, con el tiempo, se concentra más en los ejemplos difíciles.
La diversidad en cada etapa también es importante. En un conjunto de datos donde los ejemplos fáciles son desproporcionadamente similares entre sí, un currículo que solo se centre en la similitud puede hacer que el modelo se sobreespecialice. Para evitarlo, algunas estrategias aseguran explícitamente que cada mini-lote incluya una mezcla de dificultades. Esto es particularmente relevante en campos como la Computer vision o el Natural language processing, donde los conjuntos de datos a menudo presentan sesgos inherentes.
Consideraciones teóricas
El aprendizaje curricular está estrechamente relacionado con la idea del aprendizaje por transferencia: el éxito asume que un modelo que aprende de ejemplos fáciles puede generalizar a otros más difíciles. Por ejemplo, después de aprender a identificar formas geométricas básicas, un modelo puede aprender más fácilmente a identificar objetos complejos como barcos o automóviles, que se construyen a partir de formas más simples. En este sentido, los ejemplos fáciles proporcionan una forma de inducción o preparación, mientras que los difíciles introducen nuevos patrones.
La técnica se considera a menudo una forma de regularización, ya que reduce la probabilidad de sobreajuste al introducir datos complejos de manera gradual. El trabajo inicial de Yoshua Bengio y sus colegas en 2009 demostró que el aprendizaje curricular mejora la generalización, especialmente en conjuntos de prueba. Sin embargo, el efecto no siempre es beneficioso; en algunas tareas, el aprendizaje anti-curricular, que presenta primero los ejemplos más difíciles, ha superado al currículo tradicional, particularmente cuando el objetivo final es muy diferente de la versión fácil.
El principio subyacente es que comenzar con lo pequeño permite al modelo aprender principios generales que no están contaminados por el ruido o los detalles complejos. Esto refleja el aprendizaje cognitivo en los humanos, donde a los niños se les enseñan primero conceptos simples como números y letras antes de aprender a leer o resolver álgebra. Algunos investigadores también han sugerido que el aprendizaje curricular es una de las pocas técnicas de entrenamiento que mejora consistentemente la velocidad de convergencia y la precisión final en una amplia variedad de arquitecturas.
Aplicaciones en el procesamiento del lenguaje natural
En el procesamiento del lenguaje natural, el aprendizaje curricular se ha aplicado a tareas como el etiquetado de partes de la oración, la detección de intenciones, el análisis de sentimientos y la traducción automática. Por ejemplo, en la Machine translation, un currículo podría comenzar con oraciones cortas y simples y aumentar gradualmente la longitud y la complejidad lingüística. En el etiquetado de partes de la oración, el modelo a menudo se entrena primero con oraciones simples en inglés antes de pasar a corpus más grandes con construcciones gramaticales poco comunes.
Los modelos de lenguaje grandes, como GPT, también se han beneficiado del preentrenamiento con aprendizaje curricular. Algunos enfoques ordenan el corpus de entrenamiento por la longitud de las oraciones o por la frecuencia de palabras raras. Esto puede ayudar al modelo a adquirir sintaxis y semántica básicas de manera más estable. Para el análisis de sentimientos, un ejemplo fácil podría ser una reseña de película con una palabra claramente positiva como "excelente", mientras que un ejemplo difícil podría ser una frase sarcástica con un lenguaje ambiguo. Se ha demostrado que el currículo conduce a un entrenamiento más rápido y a un mejor rendimiento en puntos de referencia, especialmente cuando se combina con el ajuste fino.
Incluso en el reconocimiento de voz, se ha utilizado el aprendizaje curricular. El método ACCAN, por ejemplo, entrena primero con audio que tiene una baja relación señal-ruido, lo que constituye un ejemplo de anti-curriculum en tareas de habla ruidosa. Esto demuestra que el orden óptimo puede variar según el dominio y el tipo de ruido presente.
Aplicaciones en la visión por computador
Las tareas de reconocimiento de imágenes se benefician enormemente del aprendizaje curricular. Para el reconocimiento facial, un modelo podría aprender primero con rostros frontales y bien iluminados, luego pasar a ángulos laterales y finalmente a rostros con máscaras o sombras. De manera similar, en la detección de objetos, el modelo puede comenzar con imágenes que contienen un solo objeto y luego pasar a escenas abarrotadas con muchos objetos. En ambos casos, una ampliación gradual ayuda al modelo a aprender características fundamentales sin sentirse abrumado por la complejidad visual.
Un ejemplo clásico del artículo de 2009 de Bengio y sus colegas involucraba la clasificación de formas geométricas, donde las formas progresivamente añadían más diferencias, como aprender a distinguir entre un cuadrado y un triángulo antes de pasar a formas superpuestas. Los experimentos iniciales con conjuntos de datos de imágenes, como los de MIT-CSAIL o Stanford AI Lab, mostraron que un currículo puede mejorar la convergencia y la precisión final. Desde entonces, se ha convertido en una opción estándar en muchos kits de herramientas de visión.
Aprendizaje por refuerzo y más allá
El aprendizaje curricular se combina a menudo con el Reinforcement learning, donde se utiliza para entrenar agentes en versiones simplificadas de un juego. Por ejemplo, un robot podría aprender a agarrar objetos en una habitación vacía antes de enfrentarse a un entorno desordenado. Para los juegos, un agente puede jugar primero contra un oponente débil o con un límite de tiempo más corto, aumentando gradualmente la dificultad. Esta es una práctica común en juegos de ajedrez por computadora u otros videojuegos.
El método también se puede aplicar en el aprendizaje de grafos, la factorización de matrices e incluso variando el número de parámetros del modelo. Algunos autores incluyen, por ejemplo, aumentar gradualmente el número de capas en una Neural network como parte del currículo, ya que un modelo más grande es más difícil de optimizar. En la Machine translation y en los sistemas de preguntas y respuestas, los modelos grandes se benefician de la misma idea.
Historia e impacto
El término "aprendizaje curricular" fue introducido por Yoshua Bengio y sus asociados en 2009, quienes establecieron una analogía con la técnica psicológica del moldeamiento y con la educación estructurada humana. También reconocieron el trabajo anterior de Jeffrey Elman, quien en 1993 ya había señalado la importancia de comenzar con tareas pequeñas en una red neuronal. Desde entonces, el método ha sido explorado en numerosos campos y ha demostrado ser útil: una revisión sugiere que produce beneficios tanto en eficiencia como en rendimiento final si el currículo está bien diseñado.
Hoy en día, el aprendizaje curricular se utiliza ampliamente en el aprendizaje profundo práctico, no solo en la investigación académica. Se ha integrado en los pipelines de datos para modelos grandes, y muchas bibliotecas de código abierto admiten la programación de muestras. Sin embargo, no es una solución universal; algunas tareas pueden no beneficiarse o incluso sufrir con un currículo mal diseñado. La elección del currículo y su programa sigue siendo un área activa de investigación, con trabajo continuo sobre la construcción automática de currículos a partir del comportamiento del modelo.
En la era del preentrenamiento a gran escala, como con los modelos de lenguaje grandes, la creciente cantidad de datos hace que el orden de los ejemplos sea aún más importante. Con terabytes de datos, un buen currículo puede reducir el costo del entrenamiento y ayudar al modelo a centrarse en características destacadas. Como resultado, es probable que el aprendizaje curricular siga siendo un ingrediente clave en futuros avances en Generative AI y más allá.