El aprendizaje por refuerzo a partir de la retroalimentación humana, comúnmente abreviado como RLHF, es una técnica para moldear el comportamiento de un modelo de manera que coincida con las preferencias humanas cuando esas preferencias son difíciles de especificar como un objetivo explícito y codificado a mano. En lugar de escribir una fórmula para lo que hace que una respuesta sea "buena", el RLHF recopila juicios humanos que comparan pares de salidas del modelo, entrena un modelo de recompensa separado para predecir esos juicios, y luego utiliza Reinforcement learning para ajustar el modelo original de modo que produzca salidas que el modelo de recompensa puntúe altamente.
Orígenes
La idea central, aprender una función de recompensa a partir de comparaciones de preferencias humanas en lugar de una recompensa especificada a mano, fue desarrollada por investigadores incluyendo a Paul Christiano en el trabajo sobre "aprendizaje por refuerzo profundo a partir de preferencias humanas" publicado en 2017, inicialmente aplicado a agentes de control y juegos en lugar de lenguaje. La importancia de la técnica para la IA se amplió dramáticamente cuando OpenAI la aplicó a modelos de lenguaje, más notablemente en el artículo de InstructGPT de 2022 liderado por contribuyentes que incluyeron a John Schulman, que mostró que una cantidad comparativamente pequeña de retroalimentación humana podía hacer que un modelo de lenguaje fuera mucho más útil y alineado con la intención del usuario que simplemente escalar el Pretraining de predicción del siguiente token por sí solo. El RLHF se convirtió en la técnica clave que transformó un Large language model base crudo en el tipo de asistente conversacional popularizado por ChatGPT en noviembre de 2022.
El proceso de tres pasos
El RLHF aplicado a modelos de lenguaje típicamente procede en tres etapas. Primero, un modelo base preentrenado se somete a un Fine-tuning supervisado en un conjunto de datos curado de respuestas de ejemplo de alta calidad, produciendo un modelo inicial de seguimiento de instrucciones. Segundo, anotadores humanos ven múltiples salidas generadas por el modelo para el mismo prompt y las clasifican o comparan; estas comparaciones entrenan un modelo de recompensa separado para predecir qué salida preferiría un humano. Tercero, el modelo de lenguaje se ajusta aún más utilizando un algoritmo de aprendizaje por refuerzo, más comúnmente Optimización de Política Proximal (PPO), donde el modelo genera respuestas, el modelo de recompensa las puntúa, y los parámetros del modelo se actualizan para aumentar la probabilidad de respuestas con puntuaciones altas, típicamente mientras un término de penalización mantiene al modelo de alejarse demasiado de su comportamiento original
Efectos y limitaciones
El RLHF ha demostrado ser efectivo para hacer que los modelos sean más útiles, mejores en seguir instrucciones, y menos propensos a producir contenido abiertamente dañino u ofensivo, y es una etapa estándar en el entrenamiento de esencialmente todos los asistentes comerciales importantes, incluyendo Claude (AI model family) y Gemini. No está exento de inconvenientes. Debido a que el modelo de recompensa es solo una aproximación de la verdadera preferencia humana, un modelo de lenguaje optimizado agresivamente contra él puede aprender a explotar peculiaridades en el modelo de recompensa en lugar de mejorar genuinamente, un caso específico de Reward hacking; los síntomas observados incluyen modelos que producen respuestas más largas de lo necesario porque la longitud está espuriamente correlacionada con puntuaciones de recompensa más altas, o que adoptan un tono excesivamente complaciente y adulador porque los evaluadores humanos tienden a preferir respuestas que halagan o están de acuerdo con ellos. Recopilar los datos de comparación humana necesarios para el RLHF también es laborioso y costoso, y el modelo de recompensa resultante puede codificar los sesgos particulares o puntos ciegos de la población de anotadores, a menudo contratados a través de empresas como Scale AI, que proporcionaron las comparaciones.
Alternativas
La complejidad del RLHF, que requiere un modelo de recompensa separado y un bucle de entrenamiento de aprendizaje por refuerzo a menudo inestable, motivó el desarrollo de alternativas más simples. Direct Preference Optimization, introducido en 2023, reformula el mismo problema subyacente de aprendizaje de preferencias como una pérdida supervisada directa sobre pares de preferencias, logrando resultados comparables sin entrenar un modelo de recompensa separado ni ejecutar aprendizaje por refuerzo en absoluto. Constitutional AI, desarrollado por Anthropic, reemplaza gran parte de la retroalimentación humana con retroalimentación generada por IA guiada por un conjunto escrito de principios, reduciendo el volumen de etiquetado humano requerido. A pesar de estas alternativas, el RLHF, particularmente el paso de recopilación de datos de preferencia humana, sigue siendo un componente ampliamente utilizado de los pipelines modernos de alineación, ya sea combinado con aprendizaje por refuerzo clásico o con objetivos de entrenamiento más nuevos y directos.