Andrew Gehret Barto (né en 1948) est un informaticien américain et professeur émérite d'informatique à l'Université du Massachusetts à Amherst. Il est largement reconnu comme un pionnier de l'apprentissage par renforcement computationnel moderne, un domaine qui sous-tend de nombreuses avancées en intelligence artificielle et en apprentissage automatique. Ses travaux, en particulier avec son ancien doctorant Richard S. Sutton, ont établi les fondements conceptuels et algorithmiques de la manière dont les agents apprennent à partir de récompenses dans des environnements incertains.
Les recherches de Barto ont joué un rôle déterminant dans le passage de l'apprentissage par renforcement d'idées théoriques à des algorithmes pratiques, influençant des domaines allant de la robotique au jeu. Son manuel, Reinforcement Learning: An Introduction, est devenu une référence standard dans le domaine, et ses contributions ont été reconnues par le prix ACM A.M. Turing 2024, souvent appelé le « prix Nobel de l'informatique ».
Vie et éducation précoces
Andrew Gehret Barto est né en 1948. Il a d'abord étudié l'architecture navale et l'ingénierie à l'Université du Michigan, mais après avoir rencontré les travaux de Michael Arbib, Warren Sturgis McCulloch et Walter Pitts, il s'est passionné pour l'utilisation des ordinateurs et des mathématiques afin de modéliser le cerveau. Il a changé d'orientation et a obtenu un B.S. avec distinction en mathématiques en 1970. Il a poursuivi à Michigan, complétant un doctorat en informatique en 1975 avec une thèse sur les automates cellulaires.
Carrière académique à UMass Amherst
En 1977, Barto a rejoint le College of Information and Computer Sciences de l'Université du Massachusetts à Amherst en tant que chercheur postdoctoral associé. Il a gravi les échelons, devenant professeur associé en 1982 et professeur titulaire en 1991. Il a été président du département de 2007 à 2011 et a été membre principal du programme Neuroscience and Behavior.
À UMass, Barto a codirigé le laboratoire d'apprentissage autonome (initialement le laboratoire de réseaux adaptatifs), qui est devenu un centre de recherche sur l'apprentissage par renforcement. Son doctorant, Richard Sutton, a collaboré avec lui sur des idées clés, et ensemble, ils ont développé le cadre mathématique qui définirait le domaine.
Fondements de l'apprentissage par renforcement
Lorsque Barto a commencé à UMass, il a rejoint un groupe explorant comment le comportement des neurones dans le cerveau pouvait servir de base à l'intelligence, un concept avancé par A. Harry Klopf. Barto et Sutton ont utilisé les processus de décision de Markov (MDP) comme fondement mathématique pour expliquer comment les agents prennent des décisions dans des environnements stochastiques, recevant des récompenses après chaque action. La théorie traditionnelle des MDP supposait que les agents avaient une connaissance complète de l'environnement ; l'innovation de Barto et Sutton a permis des environnements et des récompenses inconnus, rendant les algorithmes applicables à une large gamme de problèmes réels.
Leurs travaux ont jeté les bases de l'apprentissage par renforcement moderne, qui a ensuite alimenté des percées telles que la victoire d'AlphaGo de Google contre des champions humains. La technique est devenue une pierre angulaire du boom moderne de l'IA, influençant la recherche sur le apprentissage profond et les réseaux de neurones.
Publications et influence
Barto a publié plus d'une centaine d'articles et de chapitres dans des revues, des livres et des actes de conférences. Son œuvre la plus influente est le manuel Reinforcement Learning: An Introduction, coécrit avec Richard Sutton, publié pour la première fois par MIT Press en 1998, avec une deuxième édition en 2018. Il a également coédité le Handbook of Learning and Approximate Dynamic Programming (Wiley-IEEE Press, 2004) avec Jennie Si, Warren Powell et Don Wunch II.
Ses recherches ont directement influencé de nombreux domaines, notamment la robotique, le jeu et les systèmes autonomes, et ses idées sont intégrales au développement des grands modèles de langage et de l'IA générative.
Prix et distinctions
Barto a reçu de nombreuses distinctions pour ses contributions. Il est membre de l'American Association for the Advancement of Science, membre et membre senior de l'IEEE, et membre de l'American Association for Artificial Intelligence et de la Society for Neuroscience. Il a reçu le prix Pioneer de l'IEEE Neural Network Society en 2004, le prix IJCAI pour l'excellence en recherche en 2017 et le prix UMass Neurosciences pour l'ensemble de sa carrière en 2019.
En 2024, il a reçu le prix Turing de l'Association for Computing Machinery conjointement avec Richard S. Sutton, avec la citation : « Pour avoir développé les fondements conceptuels et algorithmiques de l'apprentissage par renforcement. » Cet honneur a consolidé son statut de figure fondatrice dans le domaine.