Human-in-the-loop (HITL) es un paradigma de diseño en inteligencia artificial en el que operadores humanos participan en el entrenamiento, la evaluación o la operación de modelos de aprendizaje automático. Este enfoque se utiliza cuando los sistemas automatizados no pueden resolver completamente la ambigüedad, cuando los errores son costosos o cuando los resultados deben ajustarse a los valores humanos y las regulaciones.
Los flujos de trabajo HITL suelen implicar un ciclo de retroalimentación: un modelo produce una predicción, un humano la revisa o corrige, y la corrección se incorpora en la siguiente iteración de entrenamiento del modelo. Este ciclo puede aplicarse en diferentes etapas, desde el etiquetado de datos hasta la toma de decisiones final, y es un componente central de muchos pipelines modernos de modelos de lenguaje de gran escala.
Métodos y flujos de trabajo
Un método común es el aprendizaje activo, donde el modelo identifica ejemplos que mejorarían más su rendimiento y solicita etiquetas para esos ejemplos a un anotador humano. Esto reduce el número de etiquetas necesarias en comparación con el muestreo aleatorio. El aprendizaje automático interactivo extiende esto al permitir que los usuarios corrijan los resultados en tiempo real; las correcciones se convierten en datos de entrenamiento adicionales. Para modelos generativos, OpenAI y Anthropic han utilizado el aprendizaje por refuerzo a partir de retroalimentación humana (RLHF) para alinear el comportamiento del modelo con la intención del usuario. En RLHF, los evaluadores humanos comparan las respuestas del modelo y las clasifican; estas clasificaciones entrenan un modelo de recompensa, que luego guía el ajuste fino mediante aprendizaje por refuerzo. Una técnica relacionada, RLAIF, utiliza un sistema de IA para generar la retroalimentación, reduciendo pero no eliminando la necesidad de supervisión humana.
HITL también se cruza con el aprendizaje profundo y el entrenamiento de redes neuronales. Por ejemplo, los modelos transformers a menudo se ajustan finamente con preferencias humanas después de una fase inicial de preentrenamiento no supervisado. Algunos sistemas combinan HITL con aprendizaje curricular, donde las tareas se ordenan de fáciles a difíciles, y la retroalimentación humana se concentra en los ejemplos más difíciles.
Aplicaciones
En la conducción autónoma, Waymo y Tesla Autopilot emplean operadores remotos y conductores de seguridad para manejar casos límite que sus sistemas de percepción no pueden resolver con confianza. Estas intervenciones humanas se registran y se utilizan para mejorar las versiones posteriores del modelo. En el ámbito de la salud, el sistema da Vinci de Intuitive Surgical permite a los cirujanos controlar instrumentos robóticos, y las herramientas de diagnóstico asistidas por IA a menudo requieren que un clínico confirme o anule los hallazgos automatizados. Las plataformas de moderación de contenido utilizan HITL para revisar publicaciones marcadas, especialmente en cuestiones matizadas como el discurso de odio o la desinformación.
Los proveedores de servicios en la nube ofrecen servicios HITL gestionados: Amazon Web Services SageMaker Ground Truth y Google Cloud AI Platform data labeling permiten a los clientes crear conjuntos de datos personalizados con anotadores humanos. Microsoft Azure proporciona un servicio de etiquetado similar. Estos servicios se integran con plataformas de crowdsourcing y pueden utilizarse para entrenar modelos para aplicaciones de IA generativa.
Historia e investigación
El concepto de un humano supervisando sistemas automatizados se remonta a la teoría de control y la ingeniería de factores humanos de mediados del siglo XX. En la década de 1960, investigadores de Xerox PARC exploraron la computación interactiva, y trabajos posteriores en MIT CSAIL investigaron cómo los humanos podían guiar el aprendizaje automático mediante ejemplos y correcciones. Los años 2000 trajeron plataformas de crowdsourcing como Amazon Mechanical Turk, que hicieron económicamente viable la anotación humana a gran escala. La investigación académica sobre aprendizaje automático interactivo se expandió en los años 2000, con contribuciones de múltiples instituciones.
Desafíos y limitaciones
HITL introduce costos y latencia significativos. La anotación humana es costosa, y el tiempo requerido para la revisión puede ralentizar aplicaciones en tiempo real. El desacuerdo entre anotadores es común, y los sesgos en el juicio humano pueden codificarse en los modelos. La investigación de Aleksander Madry y colegas ha demostrado que la retroalimentación humana puede ser inconsistente, especialmente cuando las tareas son subjetivas o cuando los evaluadores están influenciados por entradas adversarias. Para mitigar estos problemas, los profesionales utilizan la aumentación de datos para generar ejemplos de entrenamiento sintéticos, y el poda de modelos para simplificar los modelos y reducir el número de decisiones que requieren revisión humana. En dominios de alto riesgo, los marcos regulatorios exigen cada vez más un humano en el circuito para decisiones automatizadas, pero la implementación práctica sigue siendo un desafío abierto.
Direcciones futuras
A medida que los sistemas de IA se vuelven más capaces, el papel de los humanos está cambiando del etiquetado por ejemplo a la alineación y auditoría de alto nivel. Google DeepMind ha estudiado la supervisión escalable, donde modelos más pequeños ayudan a evaluar modelos más grandes, y OpenAI y Anthropic han publicado pautas para incorporar retroalimentación humana durante el desarrollo de modelos. La integración de HITL con arquitecturas basadas en transformers y pipelines de entrenamiento de redes neuronales es un área de investigación activa, con un enfoque en reducir la cantidad de esfuerzo humano necesario mientras se mantienen la fiabilidad y la equidad.