L'apprentissage par renforcement (RL) est une branche de l'apprentissage automatique dans laquelle un agent apprend à agir au sein d'un environnement par essais et erreurs, recevant un signal de récompense numérique après chaque action et ajustant son comportement pour maximiser la récompense cumulative qu'il collecte au fil du temps. Contrairement à l'apprentissage supervisé, où un modèle reçoit la sortie correcte pour chaque entrée, l'apprentissage par renforcement ne dit jamais directement à l'agent quelle est la bonne action ; il révèle seulement, parfois longtemps après les faits, si le résultat d'une séquence d'actions était bon ou mauvais, une structure connue sous le nom de problème d'attribution du crédit.
Cadre formel et historique
L'apprentissage par renforcement est généralement formalisé comme un processus de décision markovien, dans lequel un agent observe un état, choisit une action, reçoit une récompense et passe à un nouvel état, répétant cette boucle tout en apprenant une politique qui mappe les états aux actions afin de maximiser la récompense future attendue. Les fondements mathématiques du domaine remontent à la programmation dynamique et à la théorie du contrôle optimal du milieu du XXe siècle, mais son cadrage moderne en tant que discipline distincte de l'apprentissage automatique est étroitement associé à Richard Sutton et Andrew Barto, dont le manuel est devenu la référence standard du domaine, ainsi qu'à des chercheurs qui ont ensuite dirigé le programme d'apprentissage par renforcement de DeepMind, notamment David Silver.
Succès marquants
Les succès les plus visibles publiquement de l'apprentissage par renforcement sont venus des jeux. AlphaGo a combiné des réseaux de neurones profonds avec l'apprentissage par renforcement et la recherche arborescente pour vaincre le champion du monde Lee Sedol au jeu de Go en 2016, un résultat largement perçu comme arrivant des années avant les prédictions des experts. Son successeur AlphaZero a généralisé l'approche, apprenant les échecs, le shogi et le Go uniquement par auto-jeu, sans aucune donnée de jeu humaine, en partant seulement des règles. Ces systèmes ont démontré qu'un agent pouvait atteindre des performances surhumaines dans des domaines complexes uniquement grâce à des essais et erreurs guidés par la récompense, combinés à une puissance de calcul suffisante, une idée que Sutton a ensuite articulée comme « la leçon amère » : les méthodes générales qui exploitent le calcul tendent à surpasser les approches qui reposent sur des connaissances humaines conçues à la main, à mesure que davantage de puissance de calcul devient disponible.
Techniques
Les algorithmes d'apprentissage par renforcement se répartissent en plusieurs familles. Les méthodes basées sur la valeur, telles que le Q-learning et son extension en apprentissage profond, les réseaux Q profonds, apprennent à estimer la valeur à long terme d'une action donnée dans un état donné. Les méthodes de gradient de politique apprennent directement une fonction de politique qui produit des actions, et les méthodes acteur-critique combinent les deux approches. L'optimisation de politique proximale (PPO), développée en grande partie par John Schulman, est devenue l'un des algorithmes de gradient de politique les plus utilisés en raison de sa stabilité d'entraînement relative, et a ensuite joué un rôle central en dehors des jeux, dans l'alignement des grands modèles de langage.
Des jeux aux modèles de langage
La pertinence de l'apprentissage par renforcement s'est considérablement élargie avec le RLHF (apprentissage par renforcement à partir de retours humains), dans lequel un modèle de récompense entraîné sur des jugements de préférence humaine remplace une fonction de récompense codée à la main, et un grand modèle de langage est ensuite affiné avec un algorithme comme PPO pour produire des sorties qui obtiennent des scores élevés selon ce modèle de récompense appris. Cette technique a été centrale pour transformer un grand modèle de langage pré-entraîné brut en un assistant comme ChatGPT qui suit fiablement les instructions. Plus récemment, l'apprentissage par renforcement appliqué directement à des tâches avec des résultats vérifiables automatiquement, comme des problèmes de mathématiques avec des réponses contrôlables ou du code qui passe ou échoue des tests, est devenu la technique clé derrière les modèles de raisonnement tels que OpenAI o1 et DeepSeek-R1, qui apprennent à produire des chaînes de raisonnement plus longues qui améliorent leur précision sur des problèmes difficiles, une approche souvent décrite sous le terme générique de Test-time compute.
Limites
L'apprentissage par renforcement est notoirement inefficace en termes d'échantillons, nécessitant souvent beaucoup plus d'interactions par essais et erreurs qu'un humain n'en aurait besoin pour apprendre une compétence comparable, et il est vulnérable au détournement de récompense, où un agent trouve un moyen non intentionnel de maximiser son signal de récompense qui satisfait techniquement l'objectif tout en échouant à atteindre le but sous-jacent qu'il était censé représenter. Concevoir une fonction de récompense qui capture fidèlement le comportement visé, sans créer de failles qu'un agent optimisant peut exploiter, reste l'un des défis ouverts persistants du domaine.