Human-in-the-loop (HITL) é um paradigma de design em inteligência artificial no qual operadores humanos participam do treinamento, da avaliação ou da operação de modelos de aprendizado de máquina. Essa abordagem é utilizada quando sistemas automatizados não conseguem resolver completamente ambiguidades, quando erros são custosos ou quando as saídas devem estar em conformidade com valores humanos e regulamentações.
Os fluxos de trabalho HITL tipicamente envolvem um ciclo de feedback: um modelo produz uma previsão, um humano a revisa ou corrige, e a correção é incorporada à próxima iteração de treinamento do modelo. Esse ciclo pode ser aplicado em diferentes estágios, desde a rotulagem de dados até a tomada de decisão final, e é um componente central de muitos pipelines modernos de modelos de linguagem de grande escala.
Métodos e fluxos de trabalho
Um método comum é o aprendizado ativo, no qual o modelo identifica exemplos que mais melhorariam seu desempenho e solicita rótulos para esses exemplos a um anotador humano. Isso reduz o número de rótulos necessários em comparação com a amostragem aleatória. O aprendizado de máquina interativo estende essa abordagem ao permitir que usuários corrijam saídas em tempo real; as correções tornam-se dados de treinamento adicionais. Para modelos generativos, OpenAI e Anthropic usaram aprendizado por reforço com feedback humano (RLHF) para alinhar o comportamento do modelo à intenção do usuário. No RLHF, avaliadores humanos comparam respostas do modelo e as classificam; essas classificações treinam um modelo de recompensa, que então orienta o ajuste fino via aprendizado por reforço. Uma técnica relacionada, Reinforcement Learning from AI Feedback (RLAIF), usa um sistema de IA para gerar o feedback, reduzindo, mas não eliminando, a necessidade de supervisão humana.
O HITL também se intersecta com o treinamento de aprendizado profundo e redes neurais. Por exemplo, modelos Transformer (architecture) são frequentemente ajustados com preferências humanas após uma fase inicial de pré-treinamento não supervisionado. Alguns sistemas combinam HITL com aprendizado curricular, no qual as tarefas são ordenadas do fácil ao difícil, e o feedback humano é concentrado nos exemplos mais difíceis.
Aplicações
Na direção autônoma, Waymo e Tesla empregam operadores remotos e motoristas de segurança para lidar com casos extremos que seus sistemas de percepção não conseguem resolver com confiança. Essas intervenções humanas são registradas e usadas para melhorar versões subsequentes do modelo. Na área da saúde, o sistema da Vinci da Intuitive Surgical permite que cirurgiões controlem instrumentos robóticos, e ferramentas de diagnóstico assistidas por IA frequentemente exigem que um clínico confirme ou anule achados automatizados. Plataformas de moderação de conteúdo usam HITL para revisar postagens sinalizadas, especialmente para questões nuançadas, como discurso de ódio ou desinformação.
Provedores de nuvem oferecem serviços gerenciados de HITL: o SageMaker Ground Truth da Amazon Web Services e a rotulagem de dados da plataforma de IA do Google Cloud permitem que clientes criem conjuntos de dados personalizados com anotadores humanos. O Microsoft Azure fornece um serviço de rotulagem semelhante. Esses serviços integram-se a plataformas de crowdsourcing e podem ser usados para treinar modelos para aplicações de IA generativa.
História e pesquisa
O conceito de um humano supervisionando sistemas automatizados remonta à teoria de controle e à engenharia de fatores humanos de meados do século XX. Na década de 1960, pesquisadores da Xerox PARC exploraram a computação interativa, e trabalhos posteriores no MIT CSAIL investigaram como humanos poderiam orientar o aprendizado de máquina por meio de exemplos e correções. Os anos 2000 trouxeram plataformas de crowdsourcing, como o Amazon Mechanical Turk, que tornaram a anotação humana em grande escala economicamente viável. A pesquisa acadêmica sobre aprendizado de máquina interativo expandiu-se nos anos 2000, com contribuições de múltiplas instituições.
Desafios e limitações
O HITL introduz custos e latência significativos. A anotação humana é cara, e o tempo necessário para revisão pode retardar aplicações em tempo real. O desacordo entre anotadores é comum, e vieses no julgamento humano podem ser codificados nos modelos. Pesquisas de Aleksander Madry e colegas mostraram que o feedback humano pode ser inconsistente, especialmente quando as tarefas são subjetivas ou quando os avaliadores são influenciados por entradas adversariais. Para mitigar esses problemas, profissionais usam aumento de dados para gerar exemplos de treinamento sintéticos e poda de modelos para simplificar modelos e reduzir o número de decisões que exigem revisão humana. Em domínios de alto risco, estruturas regulatórias cada vez mais exigem um humano no circuito para decisões automatizadas, mas a implementação prática permanece um desafio em aberto.
Direções futuras
À medida que os sistemas de IA se tornam mais capazes, o papel dos humanos está mudando da rotulagem por exemplo para o alinhamento e a auditoria de alto nível. O Google DeepMind estudou supervisão escalável, na qual modelos menores auxiliam na avaliação de modelos maiores, e a OpenAI e a Anthropic publicaram diretrizes para incorporar feedback humano durante o desenvolvimento de modelos. A integração do HITL com arquiteturas baseadas em transformers e pipelines de treinamento de redes neurais é uma área de pesquisa ativa, com foco em reduzir a quantidade de esforço humano necessária enquanto se mantêm confiabilidade e imparcialidade.