L'apprentissage par renforcement inverse (IRL) est un sous-domaine de l'apprentissage automatique qui vise à déduire la fonction de récompense d'un agent intelligent à partir de son comportement observé, généralement sous forme de démonstrations. Contrairement à l'apprentissage par renforcement standard, où un agent apprend une politique pour maximiser un signal de récompense connu, l'IRL aborde le problème inverse : étant donné un ensemble de trajectoires d'experts, retrouver la fonction de récompense que l'expert optimise implicitement. Cela est particulièrement utile dans les scénarios où spécifier manuellement une fonction de récompense est difficile, comme en robotique, en conduite autonome ou en modélisation du comportement humain. L'IRL est étroitement lié à l'apprentissage par compagnonnage, où l'objectif est d'apprendre une politique à partir de démonstrations, souvent en récupérant d'abord la fonction de récompense puis en l'optimisant.
Le cadre formel de l'IRL est généralement un processus de décision markovien (MDP), défini par un espace d'états, un espace d'actions, des probabilités de transition et une fonction de récompense. Dans l'apprentissage par renforcement standard, la fonction de récompense est donnée et l'agent cherche une politique optimale. Dans l'IRL, la fonction de récompense est inconnue et l'algorithme doit l'estimer à partir des paires état-action observées. Le comportement observé est supposé être quasi optimal par rapport à la véritable fonction de récompense, bien qu'en pratique les démonstrations puissent être bruitées ou sous-optimales. Les algorithmes d'IRL utilisent souvent des techniques issues des mécanismes d'apprentissage bayésiens pour modéliser l'incertitude sur la récompense, ou de l'optimisation pour trouver une récompense qui explique les données.
Contexte historique
Le concept d'apprentissage par renforcement inverse a été formalisé à la fin des années 1990 et au début des années 2000. Un article fondateur d'Andrew Ng et Stuart Russell en 2000 a introduit le problème et proposé un algorithme basé sur la programmation linéaire. Plus tard, Pieter Abbeel et Andrew Ng (2004) ont développé le cadre de l'apprentissage par compagnonnage, qui utilise l'IRL pour apprendre une politique correspondant à la performance de l'expert. Ces travaux ont posé les bases de nombreuses approches ultérieures, notamment l'IRL à entropie maximale (Ziebart et al., 2008) et l'IRL bayésien (Ramachandran et Amir, 2007). Ces méthodes ont été appliquées dans des domaines tels que la robotique, où les robots apprennent des tâches à partir de démonstrations humaines, et dans la théorie des jeux pour modéliser des comportements stratégiques.
Algorithmes principaux
Plusieurs familles d'algorithmes existent pour l'IRL. L'approche la plus ancienne, proposée par Ng et Russell, suppose une fonction de récompense linéaire sur des caractéristiques et utilise la programmation linéaire pour trouver une récompense qui rend la politique de l'expert optimale. L'algorithme d'apprentissage par compagnonnage calcule itérativement une politique qui maximise la marge entre les attentes de caractéristiques de l'expert et celles de l'apprenant, affinant l'estimation de la récompense. L'IRL à entropie maximale modélise le comportement de l'expert comme une distribution de probabilité sur les trajectoires, avec une probabilité plus élevée pour une récompense cumulative plus grande, et utilise une optimisation par gradient pour ajuster les paramètres de récompense. L'IRL bayésien traite la récompense comme une variable aléatoire avec un a priori, mise à jour en un a posteriori à partir des démonstrations observées, ce qui fournit une mesure de l'incertitude. Des méthodes plus récentes intègrent le apprentissage profond pour gérer des espaces d'états de grande dimension, comme l'IRL profond et l'IRL contradictoire, qui utilisent des réseaux de neurones pour représenter la fonction de récompense.
Applications
L'IRL a trouvé des applications dans divers domaines. En robotique, il permet aux robots d'apprendre des tâches de manipulation ou de navigation à partir de démonstrations humaines, évitant ainsi le besoin de fonctions de récompense conçues à la main. En conduite autonome, l'IRL peut déduire les préférences des conducteurs à partir de trajectoires enregistrées, aidant à concevoir des politiques de conduite plus humaines. En modélisation du comportement humain, l'IRL est utilisé pour comprendre la prise de décision dans des contextes économiques ou sociaux. Il a également été appliqué dans l'apprentissage par renforcement pour la théorie des jeux afin de modéliser les stratégies des adversaires. Dans le domaine de la santé, l'IRL peut déduire les préférences des patients à partir de décisions cliniques, améliorant potentiellement les traitements personnalisés. Cependant, l'IRL est coûteux en calcul, surtout dans les grands espaces d'états, et nécessite souvent une ingénierie de caractéristiques minutieuse ou une approximation de fonction.
Défis et limites
Un défi fondamental de l'IRL est la nature mal posée du problème : de nombreuses fonctions de récompense peuvent expliquer le même comportement observé. Par exemple, une récompense nulle partout rend toute politique optimale, donc des hypothèses ou des a priori supplémentaires sont nécessaires. Les solutions courantes incluent l'hypothèse que l'expert est optimal, l'utilisation de l'entropie maximale pour sélectionner la récompense la moins biaisée, ou l'incorporation de connaissances préalables. Un autre problème est le besoin de démonstrations suffisantes et diversifiées ; si l'expert ne montre qu'un ensemble restreint de comportements, la récompense déduite peut être surajustée. L'évolutivité est également une préoccupation, car de nombreux algorithmes d'IRL nécessitent de résoudre le problème d'apprentissage par renforcement à plusieurs reprises, ce qui est coûteux. Enfin, l'IRL suppose que le comportement de l'expert est cohérent avec une seule fonction de récompense, ce qui peut ne pas tenir dans des contextes multi-agents ou non stationnaires.
Relation avec d'autres paradigmes d'apprentissage
L'IRL se situe entre l'apprentissage supervisé et l'apprentissage par renforcement. Contrairement à l'apprentissage supervisé, qui mappe directement les états aux actions, l'IRL cherche un modèle explicatif plus profond sous la forme d'une fonction de récompense. Contrairement à l'apprentissage par renforcement standard, qui suppose une récompense connue, l'IRL assouplit cette hypothèse. Il est également lié à l'apprentissage non supervisé en ce qu'il extrait une structure latente (la récompense) à partir de données non étiquetées, bien que les données soient généralement séquentielles. L'IRL peut être combiné avec l'apprentissage actif pour sélectionner des démonstrations informatives, ou avec l'apprentissage en quelques exemples pour déduire des récompenses à partir de très peu d'exemples. Dans le contexte plus large de l'intelligence artificielle, l'IRL est un composant clé de l'apprentissage par compagnonnage et est utilisé dans les pipelines d'apprentissage par renforcement profond pour initialiser ou façonner les fonctions de récompense.
Voir aussi
- apprentissage par compagnonnage
- processus de décision markovien
- apprentissage par renforcement
- mécanismes d'apprentissage bayésiens