L'apprentissage par apprentissage est un sous-domaine de l'apprentissage automatique qui s'intéresse à l'enseignement d'un agent pour effectuer une tâche en observant des démonstrations d'un expert, plutôt qu'en recevant des signaux de récompense explicites ou des instructions artisanales. Le terme a été popularisé dans les travaux fondateurs de Pieter Abbeel et Andrew Ng en 2004, qui ont formulé le problème comme l'apprentissage d'une politique qui correspond aux attentes de caractéristiques de l'expert dans un processus de décision markovien (MDP). Contrairement à l'apprentissage par imitation supervisé standard, qui copie directement les actions de l'expert, l'apprentissage par apprentissage cherche généralement à déduire la fonction de récompense sous-jacente qui motive le comportement de l'expert, un problème également connu sous le nom d'apprentissage par renforcement inverse. Cette approche permet à l'agent de généraliser au-delà des états démontrés et de gérer des situations où le comportement optimal n'est pas simplement une correspondance directe entre observations et actions.
L'idée centrale est que le comportement d'un expert est supposé optimal (ou quasi-optimal) par rapport à une fonction de récompense inconnue. L'objectif de l'apprenant est de trouver une politique qui performe aussi bien que l'expert, mesurée par la récompense cumulative attendue. Comme la vraie récompense est inconnue, l'apprenant doit l'estimer à partir des démonstrations. Abbeel et Ng ont montré que si la fonction de récompense est une combinaison linéaire de caractéristiques connues, alors correspondre aux attentes de caractéristiques de la politique de l'expert est suffisant pour garantir que la politique de l'apprenant performe presque aussi bien que celle de l'expert, indépendamment des poids spécifiques de la fonction de récompense. Cette idée constitue la base de nombreux algorithmes d'apprentissage par apprentissage.
Cadre formel
L'apprentissage par apprentissage est généralement formalisé dans le cadre d'un processus de décision markovien (MDP), défini par un ensemble d'états, d'actions, de probabilités de transition et d'un facteur d'actualisation. Dans le cadre standard, la fonction de récompense est inconnue pour l'apprenant. L'expert fournit un ensemble de trajectoires, qui sont des séquences d'états et d'actions. L'apprenant doit alors calculer une politique qui maximise le retour attendu sous la récompense inconnue.
L'outil mathématique clé est le concept d'attentes de caractéristiques. Pour une politique donnée, l'attente de caractéristiques est la somme actualisée attendue des vecteurs de caractéristiques rencontrés le long d'une trajectoire. En faisant correspondre les attentes de caractéristiques de la politique de l'apprenant à celles de la politique de l'expert, l'apprenant s'assure que sa politique est proche de l'optimal sous toute fonction de récompense linéaire que l'expert pourrait avoir optimisée. C'est une garantie forte, car elle ne nécessite pas que l'apprenant identifie les poids exacts de la récompense.
Relation avec l'apprentissage par renforcement inverse
L'apprentissage par apprentissage est étroitement lié à l'apprentissage par renforcement inverse (IRL), qui est le problème de récupérer la fonction de récompense à partir de démonstrations d'experts. En IRL, l'objectif est d'estimer explicitement la fonction de récompense, tandis qu'en apprentissage par apprentissage, l'objectif est de produire directement une politique qui performe bien. De nombreux algorithmes d'apprentissage par apprentissage fonctionnent en résolvant itérativement un problème d'IRL, puis en utilisant la récompense estimée pour entraîner une politique. Ce processus itératif est souvent appelé « algorithme d'apprentissage par apprentissage » et a été introduit dans l'article de 2004. L'algorithme alterne entre trouver une politique qui maximise l'estimation actuelle de la récompense et mettre à jour l'estimation de la récompense pour rendre le comportement de l'expert plus optimal.
Algorithmes et méthodes
Plusieurs algorithmes ont été développés pour l'apprentissage par apprentissage. L'algorithme original d'Abbeel et Ng utilise une approche de programmation linéaire pour trouver une politique qui correspond aux attentes de caractéristiques de l'expert. Des travaux ultérieurs ont étendu cela à des fonctions de récompense non linéaires, en utilisant des techniques telles que l'IRL à entropie maximale, qui modélise le comportement de l'expert comme stochastique et maximise l'entropie de la politique sous réserve de correspondre aux attentes de caractéristiques. Une autre approche populaire est l'utilisation de réseaux antagonistes génératifs (GAN) sous la forme d'apprentissage par imitation antagoniste génératif (GAIL), qui apprend directement une politique qui imite la distribution état-action de l'expert sans récupérer explicitement une fonction de récompense.
Des méthodes plus récentes exploitent l'apprentissage profond et les architectures de réseaux de neurones pour gérer des espaces d'états de haute dimension, comme les images. Ces méthodes combinent souvent l'apprentissage par apprentissage avec des techniques de apprentissage profond, permettant à l'agent d'apprendre à partir d'entrées de pixels bruts. Par exemple, dans les tâches de manipulation robotique, un algorithme d'apprentissage par apprentissage profond peut apprendre à saisir des objets en observant un démonstrateur humain, en utilisant un réseau de neurones convolutif pour traiter l'entrée visuelle.
Applications
L'apprentissage par apprentissage a été appliqué dans divers domaines. En robotique, il a été utilisé pour enseigner aux robots des tâches telles que la conduite, le vol et la manipulation. Par exemple, Waymo et Tesla ont exploré des techniques d'apprentissage par imitation pour la conduite autonome, où l'expert est un conducteur humain. Dans le jeu, l'apprentissage par apprentissage a été utilisé pour entraîner des agents à jouer à des jeux comme les échecs et le go en observant les mouvements d'experts, bien que les approches modernes le combinent souvent avec l'apprentissage par renforcement. En traitement du langage naturel, l'apprentissage par apprentissage a été appliqué aux systèmes de dialogue, où l'agent apprend à converser en imitant des dialogues humains, et aux tâches de résumé.
Dans le domaine de la santé, l'apprentissage par apprentissage a été utilisé pour modéliser la prise de décision clinique. Par exemple, un agent peut apprendre à recommander des traitements en observant les décisions de médecins expérimentés. Cela est particulièrement utile dans des domaines où spécifier une fonction de récompense est difficile, comme la médecine personnalisée. En finance, il a été appliqué au trading algorithmique, où l'expert est un trader performant et l'agent apprend à répliquer ses stratégies.
Défis et limites
L'un des principaux défis de l'apprentissage par apprentissage est la nécessité d'un grand nombre de démonstrations d'experts. Le comportement de l'expert peut être bruité ou sous-optimal, ce qui peut conduire à de mauvais résultats d'apprentissage. De plus, l'hypothèse que l'expert optimise une fonction de récompense linéaire peut être trop restrictive dans de nombreux scénarios réels. Lorsque la vraie récompense est non linéaire, correspondre aux attentes de caractéristiques peut ne pas être suffisant pour garantir de bonnes performances.
Un autre défi est le problème du décalage distributionnel. La politique de l'apprenant peut visiter des états qui ne sont pas couverts par les démonstrations de l'expert, conduisant à un comportement imprévisible. Cela est particulièrement problématique dans les espaces d'états de haute dimension, où la couverture de l'expert est clairsemée. Des techniques telles que l'augmentation de données et la randomisation de domaine ont été proposées pour atténuer ce problème, mais elles ne sont pas toujours efficaces.
De plus, l'apprentissage par apprentissage est sensible au choix des caractéristiques. Les caractéristiques doivent être suffisamment informatives pour capturer les aspects pertinents de la tâche, mais pas si haute dimension que la correspondance des attentes de caractéristiques devient computationnellement infaisable. En pratique, concevoir de bonnes caractéristiques nécessite souvent une expertise de domaine.
Comparaison avec d'autres paradigmes d'apprentissage
L'apprentissage par apprentissage est souvent comparé à d'autres paradigmes tels que le apprentissage par curriculum et le renforcement par retour d'IA. Dans l'apprentissage par curriculum, l'agent est entraîné sur des tâches progressivement plus difficiles, ce qui est une approche différente pour améliorer l'efficacité de l'apprentissage. En revanche, l'apprentissage par apprentissage se concentre sur l'apprentissage à partir de démonstrations d'experts. L'apprentissage par renforcement à partir de retours humains (RLHF), utilisé pour entraîner les grands modèles de langage, est lié mais distinct : le RLHF utilise des préférences humaines pour façonner un modèle de récompense, tandis que l'apprentissage par apprentissage utilise directement des démonstrations. Cependant, les deux méthodes visent à aligner le comportement de l'agent avec les intentions humaines.
Un autre concept lié est le clonage comportemental, qui est une forme simple d'apprentissage par imitation où l'agent apprend une correspondance directe entre états et actions en utilisant l'apprentissage supervisé. Le clonage comportemental est souvent plus facile à implémenter mais souffre de décalage distributionnel et ne peut pas généraliser au-delà des démonstrations de l'expert. L'apprentissage par apprentissage, en déduisant la récompense, peut potentiellement mieux généraliser.
Développements récents
Les avancées récentes en apprentissage par apprentissage ont été motivées par l'intégration avec l'apprentissage profond et le calcul à grande échelle. Par exemple, OpenAI et Google DeepMind ont développé des algorithmes qui combinent l'apprentissage par apprentissage avec l'apprentissage par renforcement pour atteindre des performances surhumaines dans des environnements complexes. Dans le contexte de l'IA générative, l'apprentissage par apprentissage a été utilisé pour aligner les modèles avec les valeurs humaines, similaire au RLHF mais en utilisant des démonstrations au lieu de préférences.
Il y a aussi un intérêt croissant pour l'utilisation de l'apprentissage par apprentissage dans les systèmes multi-agents, où plusieurs agents apprennent des démonstrations des uns et des autres. Cela est particulièrement pertinent dans la conduite autonome, où les véhicules doivent interagir entre eux. La recherche dans des institutions comme MIT CSAIL et Stanford AI Lab a exploré ces directions, en se concentrant sur l'évolutivité et la robustesse.
Directions futures
L'avenir de l'apprentissage par apprentissage réside dans la résolution de ses limitations actuelles. Une direction prometteuse est le développement de méthodes nécessitant moins de démonstrations, éventuellement en exploitant des connaissances préalables ou en utilisant l'apprentissage actif pour interroger l'expert pour des démonstrations supplémentaires dans des états incertains. Une autre direction est l'extension aux environnements partiellement observables, où l'agent doit déduire des états cachés à partir d'observations. Cela est crucial pour des applications réelles comme la robotique et la conduite autonome, où les capteurs fournissent des informations bruitées et incomplètes.
De plus, il y a un travail en cours sur la combinaison de l'apprentissage par apprentissage avec d'autres formes d'apprentissage, telles que le élagage de modèles et l'augmentation de données, pour améliorer l'efficacité et la généralisation. Alors que les systèmes d'IA deviennent plus intégrés dans la société, l'apprentissage par apprentissage jouera probablement un rôle clé pour permettre aux machines d'apprendre de l'expertise humaine de manière sûre et fiable.