A Otimização Direta de Preferências (DPO) é uma técnica de aprendizado de máquina para alinhar um agente inteligente, como um modelo de linguagem de grande escala, com preferências humanas. É uma alternativa mais simples ao aprendizado por reforço a partir de feedback humano (RLHF), pois otimiza diretamente a política usando dados de preferência sem treinar um modelo de recompensa separado ou depender de algoritmos de aprendizado por reforço, como a otimização de política proximal. A DPO ganhou popularidade no campo da IA generativa para melhorar a utilidade e a inocuidade das saídas do modelo.
A DPO foi introduzida em 2023 por pesquisadores do Laboratório de IA de Stanford e, desde então, foi adotada por várias organizações, incluindo OpenAI e Anthropic, como um método econômico para alinhamento de preferências. Ela aproveita a percepção de que o modelo de recompensa no RLHF pode ser expresso em termos da política ótima, permitindo que o objetivo de otimização de preferências seja reformulado como uma simples perda de classificação. Isso elimina a necessidade de amostragem da política durante o treinamento, tornando a DPO mais estável e computacionalmente eficiente.
Contexto e motivação
Otimizar um modelo com base em feedback humano é desejável quando uma tarefa é difícil de especificar, mas fácil de julgar. Por exemplo, pode-se querer treinar um modelo para gerar texto seguro que seja tanto útil quanto inofensivo, como sem viés, toxicidade ou conteúdo prejudicial. Pedir que humanos criem manualmente exemplos de texto inofensivo e prejudicial seria difícil e demorado. No entanto, os humanos são hábeis em avaliar e comparar rapidamente a nocividade de diferentes textos gerados por IA. Portanto, um objetivo mais prático é permitir que o modelo use esse tipo de feedback humano para melhorar sua geração de texto.
O RLHF tradicional envolve treinar um modelo de recompensa para representar preferências humanas e, em seguida, usar aprendizado por reforço para otimizar a política em relação a esse modelo de recompensa. No entanto, o RLHF enfrenta desafios, incluindo a complexidade do aprendizado por reforço, a necessidade de ajuste cuidadoso de hiperparâmetros e o custo computacional de amostrar da política durante o treinamento. A DPO aborda esses problemas derivando um mapeamento direto entre o modelo de recompensa e a política, permitindo a otimização de preferências sem modelagem explícita de recompensa ou aprendizado por reforço.
Como a DPO funciona
A DPO formula o problema de otimização de preferências como uma tarefa de classificação binária. Dado um prompt e duas respostas candidatas, onde uma é preferida por humanos em relação à outra, a DPO atualiza a política para aumentar a probabilidade da resposta preferida e diminuir a probabilidade da resposta não preferida. A função de perda é derivada do modelo de Bradley–Terry–Luce de preferências pareadas, que assume que a probabilidade de preferir uma resposta em relação a outra é proporcional ao exponencial de suas pontuações de recompensa.
A principal percepção matemática é que, sob uma certa restrição de regularização (como a divergência KL em relação a uma política de referência), o modelo de recompensa ótimo pode ser expresso em termos da política ótima. Isso permite que a DPO elimine o modelo de recompensa e otimize diretamente a política usando uma simples perda logística. O processo de treinamento requer apenas um conjunto de dados estático de preferências, tornando-o mais simples e estável que o RLHF, que frequentemente exige amostragem iterativa e atualizações do modelo de recompensa.
Comparação com RLHF
O RLHF é um processo de múltiplas etapas: primeiro, um modelo de recompensa é treinado em dados de preferência humana; segundo, a política é otimizada em relação a esse modelo de recompensa usando aprendizado por reforço, frequentemente com otimização de política proximal. Essa abordagem tem sido bem-sucedida no alinhamento de modelos como InstructGPT e Claude. No entanto, o RLHF tem desvantagens: é computacionalmente intensivo, sensível a hiperparâmetros e pode sofrer de hacking de recompensa, onde a política explora o modelo de recompensa para alcançar pontuações altas sem satisfazer genuinamente as preferências humanas.
A DPO simplifica isso otimizando diretamente a política, evitando a necessidade de um modelo de recompensa separado e de aprendizado por reforço. Isso reduz a sobrecarga computacional e melhora a estabilidade. Estudos mostraram que a DPO pode alcançar desempenho comparável ou melhor que o RLHF em tarefas como sumarização de texto e geração de diálogo, sendo mais simples de implementar e ajustar. No entanto, a DPO não está isenta de limitações; pode ser menos eficaz quando os dados de preferência são ruidosos ou quando a política precisa explorar novos comportamentos, pois não incorpora exploração online.
Aplicações
A DPO tem sido aplicada em vários domínios do aprendizado de máquina, particularmente no processamento de linguagem natural. É usada para ajustar modelos de linguagem de grande escala para tarefas como sumarização de texto, agentes conversacionais e seguimento de instruções. Por exemplo, a Anthropic usou a DPO para alinhar seus modelos com preferências humanas de utilidade e inocuidade. Além disso, a DPO tem sido explorada para tarefas de visão computacional, como geração de texto para imagem, onde ajuda a alinhar imagens geradas com preferências estéticas humanas.
A técnica também é relevante para desenvolver sistemas de IA generativa que exigem alinhamento com valores humanos, como reduzir viés e toxicidade. Ao usar dados de preferência, a DPO pode guiar modelos a produzir saídas mais propensas a serem julgadas como de alta qualidade por humanos, sem a necessidade de engenharia extensiva de recompensa.
Requisitos de dados e desafios
Como o RLHF, a DPO depende de dados de preferência de alta qualidade, que são tipicamente coletados de anotadores humanos que classificam ou comparam saídas de modelos. Coletar esses dados é caro e demorado. Além disso, se os dados não forem cuidadosamente coletados de uma amostra representativa, o modelo resultante pode exibir vieses indesejados. A DPO requer uma quantidade relativamente pequena de dados de comparação para ser eficaz, mas a qualidade e a diversidade dos dados são cruciais.
Um desafio na DPO é que os dados de preferência podem ser ruidosos ou inconsistentes, levando a um alinhamento subótimo. Além disso, a DPO assume que o modelo de preferência segue o modelo de Bradley–Terry–Luce, o que pode nem sempre ser válido na prática. Pesquisadores propuseram extensões para lidar com estruturas de preferência mais complexas, como comparações K-wise usando o modelo de Plackett–Luce.
Desenvolvimentos recentes e pesquisa
Desde sua introdução, a DPO despertou interesse significativo em pesquisa. Variantes e melhorias foram propostas, como incorporar estratégias de coleta de dados offline e online, e combinar a DPO com outras técnicas de alinhamento. Por exemplo, alguns trabalhos exploraram o uso da DPO em conjunto com aprendizado curricular para aumentar gradualmente a dificuldade das tarefas de preferência. Outros investigaram as propriedades teóricas da DPO, fornecendo limites de complexidade de amostra e garantias de convergência sob diferentes modelos de feedback.
A pesquisa também comparou a DPO com o RLHF em termos de robustez e exploração. Enquanto a DPO é mais eficiente em amostras em configurações offline, o RLHF pode ser mais adequado para tarefas que exigem exploração online, onde o agente interage com o ambiente para descobrir novos comportamentos. Em 2025, a DPO permanece uma área ativa de pesquisa, com esforços contínuos para escalá-la a modelos maiores e tarefas mais complexas.
Conclusão
A Otimização Direta de Preferências oferece uma abordagem simplificada para alinhar sistemas de IA com preferências humanas, abordando algumas das principais limitações do RLHF. Sua simplicidade e eficácia a tornaram uma escolha popular na comunidade de inteligência artificial, particularmente para ajustar modelos de linguagem de grande escala. Embora desafios permaneçam, como qualidade de dados e suposições teóricas, a DPO representa um passo significativo para tornar o alinhamento baseado em preferências mais acessível e prático.