Aprendizado por reforço com feedback humano, comumente abreviado como RLHF, é uma técnica para moldar o comportamento de um modelo de modo a corresponder às preferências humanas quando essas preferências são difíceis de especificar como um objetivo explícito e codificado manualmente. Em vez de escrever uma fórmula para o que torna uma resposta "boa", o RLHF coleta julgamentos humanos que comparam pares de saídas do modelo, treina um modelo de recompensa separado para prever esses julgamentos e, então, usa aprendizado por reforço para ajustar o modelo original de modo que ele produza saídas que o modelo de recompensa avalie bem.
Origens
A ideia central - aprender uma função de recompensa a partir de comparações de preferências humanas, em vez de uma recompensa especificada manualmente - foi desenvolvida por pesquisadores, incluindo Paul Christiano, no trabalho sobre "aprendizado por reforço profundo a partir de preferências humanas", publicado em 2017, inicialmente aplicado a agentes de controle e jogos, e não a linguagem. A importância da técnica para a IA cresceu drasticamente quando a OpenAI a aplicou a modelos de linguagem, mais notavelmente no artigo do InstructGPT de 2022, liderado por contribuições que incluíam John Schulman, que mostrou que uma quantidade comparativamente pequena de feedback humano poderia tornar um modelo de linguagem muito mais útil e alinhado à intenção do usuário do que simplesmente aumentar a escala do pré-treinamento de próxima palavra. O RLHF tornou-se a técnica-chave que transformou um modelo de linguagem de grande porte bruto no tipo de assistente conversacional popularizado pelo ChatGPT em novembro de 2022.
O processo em três etapas
O RLHF aplicado a modelos de linguagem geralmente ocorre em três etapas. Primeiro, um modelo base pré-treinado passa por ajuste fino supervisionado em um conjunto de dados selecionado de exemplos de respostas de alta qualidade, produzindo um modelo inicial que segue instruções. Segundo, anotadores humanos recebem múltiplas saídas geradas pelo modelo para o mesmo prompt e as classificam ou comparam; essas comparações são usadas para treinar um modelo de recompensa separado, que aprende a prever qual saída um humano preferiria. Terceiro, o modelo de linguagem é ajustado novamente usando um algoritmo de aprendizado por reforço, mais comumente a Otimização de Política Proximal (PPO), no qual o modelo gera respostas, o modelo de recompensa as pontua e os parâmetros do modelo são atualizados para aumentar a probabilidade de respostas com pontuação alta, geralmente com um termo de penalidade que impede o modelo de se afastar demasiadamente de seu comportamento original.
Efeitos e limitações
O RLHF mostrou-se eficaz para tornar os modelos mais úteis, melhores em seguir instruções e menos propensos a produzir conteúdo abertamente prejudicial ou ofensivo, e tornou-se uma etapa padrão no treinamento de praticamente todos os principais assistentes comerciais, incluindo Claude e Gemini. No entanto, a técnica não está isenta de desvantagens. Como o modelo de recompensa é apenas uma aproximação da verdadeira preferência humana, um modelo de linguagem otimizado agressivamente contra ele pode aprender a explorar peculiaridades do modelo de recompensa em vez de melhorar genuinamente - um caso específico de hackeamento de recompensa. Entre os sintomas observados estão modelos que produzem respostas mais longas do que o necessário, porque o comprimento está correlacionado de forma espúria com pontuações de recompensa mais altas, ou que adotam um tom excessivamente complacente e puxa-saco, porque os avaliadores humanos tendem a preferir respostas que lisonjeiam ou concordam com eles. Além disso, coletar os dados de comparação humana necessários para o RLHF é trabalhoso e caro, e o modelo de recompensa resultante pode codificar os vieses ou pontos cegos específicos da população de anotadores - muitas vezes contratados por meio de empresas como a Scale AI - que forneceram as comparações.
Alternativas
A complexidade do RLHF, que exige um modelo de recompensa separado e um loop de treinamento de aprendizado por reforço muitas vezes instável, motivou o desenvolvimento de alternativas mais simples. A otimização direta de preferências, introduzida em 2023, reformula o mesmo problema subjacente de aprendizado de preferências como uma perda supervisionada direta sobre pares de preferências, alcançando resultados comparáveis sem treinar um modelo de recompensa separado ou executar aprendizado por reforço. A IA constitucional, desenvolvida pela Anthropic, substitui grande parte do feedback humano por feedback gerado por IA, guiado por um conjunto escrito de princípios, reduzindo o volume de rotulagem humana necessário. Apesar dessas alternativas, o RLHF - em particular a etapa de coleta de dados de preferências humanas - continua sendo um componente amplamente utilizado nos pipelines modernos de alinhamento, seja combinado com o aprendizado por reforço clássico ou com objetivos de treinamento mais novos e diretos.