El aprendizaje por refuerzo (RL) es una rama del aprendizaje automático en la que un agente aprende a actuar dentro de un entorno mediante prueba y error, recibiendo una señal numérica de recompensa después de cada acción y ajustando su comportamiento para maximizar la recompensa acumulada que recoge a lo largo del tiempo. A diferencia del aprendizaje supervisado, donde a un modelo se le muestra la salida correcta para cada entrada, el aprendizaje por refuerzo nunca le dice al agente la acción correcta directamente; solo revela, a veces mucho después del hecho, si el resultado de una secuencia de acciones fue bueno o malo, una estructura conocida como el problema de asignación de crédito.
Marco formal e historia
El aprendizaje por refuerzo se formaliza típicamente como un proceso de decisión de Markov, en el que un agente observa un estado, elige una acción, recibe una recompensa y transita a un nuevo estado, repitiendo este bucle mientras aprende una política que mapea estados a acciones para maximizar la recompensa futura esperada. Los fundamentos matemáticos del campo se remontan a la programación dinámica y la teoría de control óptimo de mediados del siglo XX, pero su marco moderno como disciplina distinta del aprendizaje automático está estrechamente asociado con Richard Sutton y Andrew Barto, cuyo libro de texto se convirtió en la referencia estándar del campo, y con investigadores que más tarde lideraron el programa de aprendizaje por refuerzo de DeepMind, incluido David Silver.
Éxitos emblemáticos
Los éxitos más visibles públicamente del aprendizaje por refuerzo provinieron de los juegos. AlphaGo combinó redes neuronales profundas con aprendizaje por refuerzo y búsqueda en árbol para derrotar al campeón mundial Lee Sedol en Go en 2016, un resultado ampliamente visto como llegando años antes de las predicciones de los expertos. Su sucesor AlphaZero generalizó el enfoque, aprendiendo ajedrez, shogi y Go solo a partir de autojuego, sin datos de juegos humanos, partiendo únicamente de las reglas. Estos sistemas demostraron que un agente podía alcanzar un rendimiento sobrehumano en dominios complejos puramente a través de prueba y error impulsado por recompensas combinado con suficiente cómputo, una idea que Sutton articuló más tarde como "la lección amarga": los métodos generales que aprovechan la computación tienden a superar a los enfoques que dependen del conocimiento humano diseñado a mano, a medida que más cómputo está disponible.
Técnicas
Los algoritmos de aprendizaje por refuerzo se dividen en varias familias. Los métodos basados en valores, como Q-learning y su extensión de aprendizaje profundo, las redes Q profundas, aprenden a estimar el valor a largo plazo de tomar una acción dada en un estado dado. Los métodos de gradiente de políticas aprenden directamente una función de política que produce acciones, y los métodos actor-crítico combinan ambos enfoques. La optimización de política proximal (PPO), desarrollada en gran parte por John Schulman, se convirtió en uno de los algoritmos de gradiente de políticas más utilizados debido a su relativa estabilidad de entrenamiento, y más tarde desempeñó un papel central fuera de los juegos, en la alineación de modelos de lenguaje grandes.
De los juegos a los modelos de lenguaje
La relevancia del aprendizaje por refuerzo se amplió dramáticamente con RLHF (aprendizaje por refuerzo a partir de retroalimentación humana), en el que un modelo de recompensa entrenado con juicios de preferencia humana sustituye a una función de recompensa codificada a mano, y un LLM se ajusta finamente con un algoritmo como PPO para producir salidas que puntúen alto según ese modelo de recompensa aprendido. Esta técnica fue central para convertir un modelo de lenguaje grande preentrenado en bruto en un asistente como ChatGPT que sigue instrucciones de manera confiable. Más recientemente, el aprendizaje por refuerzo aplicado directamente a tareas con resultados automáticamente verificables, como problemas de matemáticas con respuestas comprobables o código que pasa o falla pruebas, se convirtió en la técnica clave detrás de los modelos de razonamiento como OpenAI o1 y DeepSeek-R1, que aprenden a producir cadenas de razonamiento más largas que mejoran su precisión en problemas difíciles, un enfoque a menudo descrito bajo el paraguas de cómputo en tiempo de prueba.
Limitaciones
El aprendizaje por refuerzo es notoriamente ineficiente en cuanto a muestras, a menudo requiriendo muchas más interacciones de prueba y error de las que un humano necesitaría para aprender una habilidad comparable, y es vulnerable al hackeo de recompensa, donde un agente encuentra una forma no intencionada de maximizar su señal de recompensa que técnicamente satisface el objetivo mientras falla en la meta subyacente que se suponía que representaba. Diseñar una función de recompensa que capture fielmente el comportamiento previsto, sin crear lagunas que un agente optimizador pueda explotar, sigue siendo uno de los desafíos abiertos persistentes del campo.