L'optimisation directe des préférences, communément abrégée DPO, est une méthode pour entraîner un modèle de langage à préférer certaines sorties à d'autres sur la base de données de préférences humaines, introduite comme une alternative plus simple à RLHF. Plutôt que d'entraîner un modèle de récompense séparé puis d'exécuter un algorithme d'apprentissage par renforcement pour optimiser le modèle de langage par rapport à celui-ci, la DPO reformule mathématiquement le même problème d'alignement des préférences afin que le modèle de langage puisse être entraîné avec une seule perte supervisée directe, calculée directement à partir de paires de réponses préférées et rejetées, sans nécessiter de modèle de récompense ni de boucle d'apprentissage par renforcement.
Origines
La DPO a été introduite dans un article de 2023 de chercheurs de Stanford, qui ont montré que l'objectif d'apprentissage par renforcement typiquement utilisé dans la RLHF possède une solution optimale de forme fermée qui peut être exprimée directement en termes des probabilités de sortie du modèle de langage lui-même. Ce résultat théorique signifiait qu'un modèle pouvait être entraîné vers le même optimum que poursuit la RLHF en augmentant simplement la probabilité qu'il attribue aux réponses préférées par rapport aux réponses rejetées, en utilisant une fonction de perte dérivée du même modèle de préférence sous-jacent, le modèle de Bradley-Terry de comparaisons par paires, que les modèles de récompense dans la RLHF utilisent pour leur entraînement.
Fonctionnement
L'entraînement par DPO commence avec le même type de données que celui utilisé dans l'étape de modélisation de récompense de la RLHF : un ensemble de données de prompts, chacun associé à une réponse « choisie » que les annotateurs humains ont préférée et une réponse « rejetée » qu'ils n'ont pas préférée. Plutôt que d'utiliser ces données pour entraîner un modèle de récompense séparé, la DPO entraîne directement le modèle de langage, en calculant une perte qui augmente la vraisemblance relative de la réponse choisie par rapport à la réponse rejetée, mesurée par rapport à une version de référence du modèle, généralement l'état du modèle avant cette étape d'entraînement, qui agit comme un régularisateur implicite pour empêcher le modèle de s'éloigner trop d'un comportement sensé et fluide. En éliminant la boucle d'échantillonnage et de notation des récompenses centrale à l'apprentissage par renforcement, l'entraînement par DPO est considérablement plus simple à implémenter, plus stable et moins coûteux en calcul qu'un pipeline complet de RLHF.
Relation avec la RLHF
La DPO et la RLHF poursuivent le même objectif sous-jacent : aligner les sorties d'un modèle de langage avec les jugements de préférence humains, généralement comme une étape suivant le fine-tuning supervisé d'un modèle de base pré-entraîné. La RLHF fait cela indirectement, via un modèle de récompense explicite et une boucle d'optimisation par apprentissage par renforcement, le plus souvent l'optimisation de politique proximale. La DPO réduit ces deux étapes en un seul objectif supervisé, évitant l'instabilité, la sensibilité aux hyperparamètres et la complexité d'infrastructure que l'apprentissage par renforcement peut introduire, au prix d'une flexibilité quelque peu réduite, car la DPO repose sur l'ensemble de données de préférences lui-même plutôt que sur un modèle de récompense qui pourrait en principe être interrogé sur des réponses au-delà des données d'entraînement originales.
Adoption et impact
Après son introduction, la DPO et des variantes étroitement liées d'optimisation des préférences ont été rapidement adoptées tant dans l'industrie que dans la recherche ouverte, en partie grâce à la simplification technique significative qu'elle offrait : de nombreuses équipes sans l'infrastructure nécessaire pour exécuter une boucle d'apprentissage par renforcement stable pouvaient toujours effectuer l'alignement des préférences en utilisant des outils standard d'apprentissage supervisé. Elle est devenue une technique courante dans l'entraînement des modèles à poids ouverts publiés par des organisations telles que Hugging Face et Mistral AI, et des variantes d'optimisation des préférences apparaissent dans les recettes d'entraînement publiées de nombreux modèles sortis à partir de 2023. Certaines méthodes dérivées ont depuis proposé des raffinements, comme la suppression du terme de modèle de référence ou l'extension de l'optimisation des préférences à plus de deux réponses candidates par comparaison.
Limites
Parce que la DPO apprend directement à partir d'un ensemble de données de préférences fixe et pré-collecté plutôt que d'un modèle de récompense explicite capable de noter de nouvelles sorties arbitraires, elle est généralement considérée comme moins capable de généraliser aux jugements de préférence concernant des distributions de texte assez différentes des données d'entraînement, et elle hérite de la dépendance centrale de la RLHF à la qualité et à la cohérence des étiquettes de préférence humaines sous-jacentes : le biais des annotateurs, l'incohérence ou un ensemble étroit de critères de préférence façonneront le comportement du modèle résultant aussi directement que dans un pipeline basé sur un modèle de récompense. Comme avec la RLHF, la DPO ne garantit pas en soi qu'un modèle soit véridique ou sûr ; elle optimise vers ce que les données de préférences récompensent, ce qui reste un domaine actif de recherche et de débat dans les travaux sur l'alignement.