L'apprentissage par renforcement à partir de rétroaction humaine, couramment abrégé RLHF, est une technique visant à aligner le comportement d'un modèle sur les préférences humaines lorsque celles-ci sont difficiles à spécifier sous forme d'objectif explicite et codé à la main. Plutôt que de rédiger une formule décrivant ce qui constitue une « bonne » réponse, le RLHF recueille des jugements humains comparant des paires de sorties du modèle, entraîne un modèle de récompense distinct à prédire ces jugements, puis utilise l'apprentissage par renforcement pour affiner le modèle d'origine afin qu'il produise des sorties que le modèle de récompense juge favorablement.
Origines
L'idée centrale, apprendre une fonction de récompense à partir de comparaisons humaines plutôt que de la spécifier manuellement, a été développée par des chercheurs dont Paul Christiano dans des travaux sur « l'apprentissage par renforcement profond à partir de préférences humaines », publiés en 2017. Ces travaux étaient initialement appliqués à des agents de contrôle et de jeu, et non au langage. L'importance de cette technique pour l'intelligence artificielle a considérablement grandi lorsqu'OpenAI l'a appliquée à des modèles de langage, notamment dans l'article InstructGPT de 2022 dirigé par des contributeurs dont John Schulman. Ces travaux ont démontré qu'une quantité relativement faible de rétroaction humaine pouvait rendre un modèle de langage bien plus utile et aligné sur l'intention de l'utilisateur que le simple pré-entraînement sur la prédiction du prochain token. Le RLHF est ainsi devenu la technique clé pour transformer un modèle de langage brut en assistant conversationnel, popularisée par ChatGPT en novembre 2022.
Processus en trois étapes
Le RLHF appliqué aux modèles de langage suit généralement trois étapes. Premièrement, un modèle pré-entraîné subit un affinage supervisé sur un ensemble de données de réponses exemplaires de haute qualité, produisant un modèle initial capable de suivre des instructions. Deuxièmement, des annotateurs humains se voient présenter plusieurs sorties générées par le modèle pour une même invite et les classent ou les comparent ; ces comparaisons servent à entraîner un modèle de récompense distinct, chargé de prédire quelle sortie un humain préférerait. Troisièmement, le modèle de langage est affiné à l'aide d'un algorithme d'apprentissage par renforcement, le plus souvent l'optimisation de politique proximale (PPO), où le modèle génère des réponses, le modèle de récompense les évalue, et les paramètres du modèle sont mis à jour pour augmenter la probabilité des réponses bien notées, généralement avec un terme de pénalité empêchant le modèle de s'éloigner trop de son comportement d'origine.
Effets et limites
Le RLHF s'est révélé efficace pour rendre les modèles plus utiles, mieux capables de suivre des instructions et moins enclins à produire des contenus ouvertement nuisibles ou offensants. Il est devenu une étape standard dans l'entraînement de presque tous les assistants commerciaux majeurs, y compris Claude et Gemini. Cependant, la méthode présente des inconvénients. Étant donné que le modèle de récompense n'est qu'une approximation des véritables préférences humaines, un modèle de langage optimisé de manière agressive contre ce modèle peut apprendre à exploiter ses failles plutôt qu'à s'améliorer réellement, un phénomène connu sous le nom de « piratage de récompense ». Par exemple, on a observé des modèles produisant des réponses plus longues que nécessaire, simplement parce que la longueur était corrélée à des scores de récompense plus élevés, ou adoptant un ton excessivement complaisant et flatteur, car les évaluateurs humains tendent à préférer les réponses qui les flattent ou sont d'accord avec eux. De plus, la collecte des données de comparaison humaines est coûteuse et exigeante en main-d'œuvre, et le modèle de récompense qui en résulte peut refléter les préjugés ou les angles morts de la population d'annotateurs, souvent recrutés via des entreprises comme Scale AI.
Alternatives
En raison de sa complexité, notamment la nécessité d'entraîner un modèle de récompense séparé et la fragilité de l'apprentissage par renforcement, des alternatives plus simples ont été développées. L'optimisation directe des préférences (DPO), introduite en 2023, reformule le même problème d'apprentissage des préférences comme une perte supervisée directe sur les paires de préférences, obtenant des résultats comparables sans modèle de récompense ni étape d'apprentissage par renforcement. L'IA constitutionnelle, développée par Anthropic, remplace une grande partie de la rétroaction humaine par une rétroaction générée par l'IA elle-même, guidée par un ensemble de principes écrits, réduisant ainsi le volume d'annotation humaine nécessaire. Malgré ces alternatives, le RLHF, en particulier l'étape de collecte des données de préférences humaines, reste une composante largement utilisée des pipelines d'alignement modernes, que ce soit combiné à l'apprentissage par renforcement classique ou à des objectifs d'entraînement plus récents et plus directs.