Preference Optimization Direta, comumente abreviada como DPO, é um método para treinar um modelo de linguagem a preferir certas saídas em detrimento de outras com base em dados de preferência humana, introduzido como uma alternativa mais simples à RLHF. Em vez de treinar um modelo de recompensa separado e depois executar um algoritmo de aprendizado por reforço para otimizar o modelo de linguagem contra ele, a DPO reformula o mesmo problema de alinhamento de preferências matematicamente, de modo que o modelo de linguagem possa ser treinado com uma única perda supervisionada direta, calculada diretamente a partir de pares de respostas preferidas e rejeitadas, sem necessidade de modelo de recompensa ou loop de aprendizado por reforço.
Origens
A DPO foi introduzida em um artigo de 2023 de pesquisadores de Stanford, que mostraram que o objetivo de aprendizado por reforço tipicamente usado em RLHF tem uma solução ótima de forma fechada que pode ser expressa diretamente em termos das probabilidades de saída do próprio modelo de linguagem. Esse resultado teórico significava que um modelo poderia ser treinado em direção ao mesmo ótimo que a RLHF busca, simplesmente aumentando a probabilidade que ele atribui a respostas preferidas em relação às rejeitadas, usando uma função de perda derivada do mesmo modelo de preferência subjacente, o modelo de Bradley-Terry de comparações pareadas, com o qual os modelos de recompensa em RLHF são treinados.
Como funciona
O treinamento com DPO começa com o mesmo tipo de dados que a etapa de modelagem de recompensa da RLHF usa: um conjunto de dados de prompts, cada um pareado com uma resposta "escolhida" que anotadores humanos preferiram e uma resposta "rejeitada" que eles não preferiram. Em vez de usar esses dados para treinar um modelo de recompensa separado, a DPO treina o modelo de linguagem diretamente, calculando uma perda que aumenta a verossimilhança relativa da resposta escolhida sobre a rejeitada, medida em relação a uma versão de referência do modelo, tipicamente o estado do próprio modelo antes dessa etapa de treinamento, que atua como um regularizador implícito para evitar que o modelo se desvie demais de um comportamento sensato e fluente. Como elimina o loop de amostragem e pontuação de recompensa central ao aprendizado por reforço, o treinamento com DPO é consideravelmente mais simples de implementar, mais estável e menos computacionalmente caro do que um pipeline completo de RLHF.
Relação com RLHF
DPO e RLHF buscam o mesmo objetivo subjacente: alinhar as saídas de um modelo de linguagem com julgamentos de preferência humana, tipicamente como uma etapa posterior ao ajuste fino supervisionado de um modelo base pré-treinado. A RLHF faz isso indiretamente, por meio de um modelo de recompensa explícito e um loop de otimização de aprendizado por reforço, mais frequentemente a Proximal Policy Optimization. A DPO colapsa essas duas etapas em um único objetivo supervisionado, evitando a instabilidade, a sensibilidade a hiperparâmetros e a complexidade de infraestrutura que o treinamento com aprendizado por reforço pode introduzir, ao custo de uma flexibilidade um pouco menor, já que a DPO depende do próprio conjunto de dados de preferência, em vez de um modelo de recompensa que, em princípio, poderia ser consultado em respostas além dos dados de treinamento originais.
Adoção e impacto
Após sua introdução, a DPO e variantes de otimização de preferência intimamente relacionadas foram adotadas rapidamente tanto na indústria quanto na pesquisa aberta, em parte por causa da simplificação significativa de engenharia que ofereceu: muitas equipes sem a infraestrutura para executar um loop estável de treinamento com aprendizado por reforço ainda podiam realizar alinhamento de preferências usando ferramentas padrão de aprendizado supervisionado. Tornou-se uma técnica comum no treinamento de modelos de pesos abertos lançados por organizações como Hugging Face e Mistral AI, e variantes de otimização de preferência aparecem nas receitas de treinamento publicadas de numerosos modelos lançados a partir de 2023. Alguns métodos derivados propuseram refinamentos desde então, como remover o termo do modelo de referência ou estender a otimização de preferência para mais de duas respostas candidatas por comparação.
Limitações
Como a DPO aprende diretamente de um conjunto de dados de preferência fixo e pré-coletado, em vez de um modelo de recompensa explícito que possa pontuar novas saídas arbitrárias, é geralmente considerada menos capaz de generalizar para julgamentos de preferência sobre distribuições de texto bastante diferentes dos dados de treinamento, e herda a dependência central da RLHF na qualidade e consistência dos rótulos de preferência humana subjacentes: viés do anotador, inconsistência ou um conjunto estreito de critérios de preferência moldarão o comportamento do modelo resultante tão diretamente quanto em um pipeline baseado em modelo de recompensa. Assim como na RLHF, a DPO não garante por si só que um modelo seja verídico ou seguro; ela otimiza em direção ao que os dados de preferência recompensam, o que permanece uma área ativa de pesquisa e debate dentro do trabalho de alinhamento.