L'optimisation directe des préférences (DPO) est une technique d'apprentissage automatique visant à aligner un agent intelligent, tel qu'un grand modèle de langage, avec les préférences humaines. C'est une alternative plus simple au apprentissage par renforcement à partir de retours humains (RLHF), car elle optimise directement la politique à l'aide de données de préférences sans entraîner un modèle de récompense séparé ni recourir à des algorithmes d'apprentissage par renforcement comme l'optimisation de politique proximale. La DPO a gagné en popularité dans le domaine de la IA générative pour améliorer l'utilité et l'innocuité des sorties des modèles.
La DPO a été introduite en 2023 par des chercheurs du Stanford AI Lab et a depuis été adoptée par diverses organisations, notamment OpenAI et Anthropic, comme méthode rentable d'alignement des préférences. Elle exploite l'idée que le modèle de récompense dans le RLHF peut être exprimé en termes de politique optimale, ce qui permet de reformuler l'objectif d'optimisation des préférences comme une simple perte de classification. Cela élimine le besoin d'échantillonner à partir de la politique pendant l'entraînement, rendant la DPO plus stable et plus efficace sur le plan computationnel.
Contexte et motivation
Optimiser un modèle en fonction des retours humains est souhaitable lorsqu'une tâche est difficile à spécifier mais facile à juger. Par exemple, on peut vouloir entraîner un modèle à générer un texte sûr, à la fois utile et inoffensif, sans biais, toxicité ou contenu nuisible. Demander aux humains de créer manuellement des exemples de textes inoffensifs et nuisibles serait difficile et chronophage. Cependant, les humains sont capables d'évaluer et de comparer rapidement la nocivité de différents textes générés par l'IA. Par conséquent, un objectif plus pratique est de permettre au modèle d'utiliser ce type de retours humains pour améliorer sa génération de texte.
Le RLHF traditionnel implique d'entraîner un modèle de récompense pour représenter les préférences humaines, puis d'utiliser l'apprentissage par renforcement pour optimiser la politique par rapport à ce modèle de récompense. Cependant, le RLHF présente des défis, notamment la complexité de l'apprentissage par renforcement, la nécessité d'un réglage minutieux des hyperparamètres et le coût computationnel de l'échantillonnage à partir de la politique pendant l'entraînement. La DPO résout ces problèmes en dérivant une correspondance directe entre le modèle de récompense et la politique, permettant une optimisation des préférences sans modélisation explicite de la récompense ni apprentissage par renforcement.
Comment fonctionne la DPO
La DPO formule le problème d'optimisation des préférences comme une tâche de classification binaire. Étant donné une invite et deux réponses candidates, où l'une est préférée par les humains à l'autre, la DPO met à jour la politique pour augmenter la probabilité de la réponse préférée et diminuer celle de la réponse non préférée. La fonction de perte est dérivée du modèle de Bradley–Terry–Luce pour les préférences par paires, qui suppose que la probabilité de préférer une réponse à une autre est proportionnelle à l'exponentielle de leurs scores de récompense.
L'idée mathématique clé est que, sous une certaine contrainte de régularisation (comme la divergence KL par rapport à une politique de référence), le modèle de récompense optimal peut être exprimé en termes de politique optimale. Cela permet à la DPO d'éliminer le modèle de récompense et d'optimiser directement la politique à l'aide d'une simple perte logistique. Le processus d'entraînement ne nécessite qu'un ensemble de données statique de préférences, ce qui le rend plus simple et plus stable que le RLHF, qui exige souvent un échantillonnage itératif et des mises à jour du modèle de récompense.
Comparaison avec le RLHF
Le RLHF est un processus en plusieurs étapes : d'abord, un modèle de récompense est entraîné sur des données de préférences humaines ; ensuite, la politique est optimisée par rapport à ce modèle de récompense à l'aide de l'apprentissage par renforcement, souvent avec l'optimisation de politique proximale. Cette approche a réussi à aligner des modèles comme InstructGPT et Claude. Cependant, le RLHF présente des inconvénients : il est intensif en calcul, sensible aux hyperparamètres et peut souffrir de piratage de récompense, où la politique exploite le modèle de récompense pour obtenir des scores élevés sans satisfaire réellement les préférences humaines.
La DPO simplifie cela en optimisant directement la politique, évitant le besoin d'un modèle de récompense séparé et de l'apprentissage par renforcement. Cela réduit la charge computationnelle et améliore la stabilité. Des études ont montré que la DPO peut atteindre des performances comparables ou supérieures au RLHF sur des tâches comme le résumé de texte et la génération de dialogue, tout en étant plus simple à implémenter et à régler. Cependant, la DPO n'est pas sans limites ; elle peut être moins efficace lorsque les données de préférences sont bruitées ou lorsque la politique doit explorer de nouveaux comportements, car elle n'intègre pas d'exploration en ligne.
Applications
La DPO a été appliquée dans divers domaines du apprentissage automatique, en particulier dans le traitement du langage naturel. Elle est utilisée pour affiner les grands modèles de langage pour des tâches telles que le résumé de texte, les agents conversationnels et le suivi d'instructions. Par exemple, Anthropic a utilisé la DPO pour aligner ses modèles avec les préférences humaines en matière d'utilité et d'innocuité. De plus, la DPO a été explorée pour des tâches de vision par ordinateur, comme la génération texte-image, où elle aide à aligner les images générées avec les préférences esthétiques humaines.
La technique est également pertinente pour développer des systèmes de IA générative nécessitant un alignement avec les valeurs humaines, comme la réduction des biais et de la toxicité. En utilisant des données de préférences, la DPO peut guider les modèles à produire des sorties plus susceptibles d'être jugées de haute qualité par les humains, sans nécessiter une ingénierie extensive des récompenses.
Exigences en matière de données et défis
Comme le RLHF, la DPO repose sur des données de préférences de haute qualité, généralement collectées auprès d'annotateurs humains qui classent ou comparent les sorties des modèles. La collecte de ces données est coûteuse et chronophage. De plus, si les données ne sont pas soigneusement collectées à partir d'un échantillon représentatif, le modèle résultant peut présenter des biais indésirables. La DPO nécessite une quantité relativement faible de données de comparaison pour être efficace, mais la qualité et la diversité des données sont cruciales.
Un défi de la DPO est que les données de préférences peuvent être bruitées ou incohérentes, conduisant à un alignement sous-optimal. De plus, la DPO suppose que le modèle de préférences suit le modèle de Bradley–Terry–Luce, ce qui peut ne pas toujours être vrai en pratique. Des chercheurs ont proposé des extensions pour gérer des structures de préférences plus complexes, comme les comparaisons K-way utilisant le modèle de Plackett–Luce.
Développements récents et recherche
Depuis son introduction, la DPO a suscité un intérêt de recherche significatif. Des variantes et des améliorations ont été proposées, comme l'intégration de stratégies de collecte de données hors ligne et en ligne, et la combinaison de la DPO avec d'autres techniques d'alignement. Par exemple, certains travaux ont exploré l'utilisation de la DPO en conjonction avec le apprentissage curriculaire pour augmenter progressivement la difficulté des tâches de préférences. D'autres ont étudié les propriétés théoriques de la DPO, fournissant des bornes de complexité d'échantillonnage et des garanties de convergence sous différents modèles de retours.
La recherche a également comparé la DPO au RLHF en termes de robustesse et d'exploration. Bien que la DPO soit plus efficace en termes d'échantillons dans des contextes hors ligne, le RLHF peut être mieux adapté aux tâches nécessitant une exploration en ligne, où l'agent interagit avec l'environnement pour découvrir de nouveaux comportements. En 2025, la DPO reste un domaine de recherche actif, avec des efforts continus pour l'étendre à des modèles plus grands et à des tâches plus complexes.
Conclusion
L'optimisation directe des préférences offre une approche rationalisée pour aligner les systèmes d'IA avec les préférences humaines, répondant à certaines des principales limitations du RLHF. Sa simplicité et son efficacité en ont fait un choix populaire dans la communauté de l'intelligence artificielle, en particulier pour l'affinage des grands modèles de langage. Bien que des défis subsistent, tels que la qualité des données et les hypothèses théoriques, la DPO représente une avancée significative pour rendre l'alignement basé sur les préférences plus accessible et pratique.