Andrew Gehret Barto (* 1948) ist ein US-amerikanischer Informatiker und emeritierter Professor für Informatik an der University of Massachusetts Amherst. Er gilt weithin als Pionier des modernen bestärkenden Lernens, eines Feldes, das vielen Fortschritten in künstlicher Intelligenz und maschinellem Lernen zugrunde liegt. Seine Arbeit, insbesondere mit seinem ehemaligen Doktoranden Richard S. Sutton, legte die konzeptionellen und algorithmischen Grundlagen dafür, wie Agenten in unsicheren Umgebungen aus Belohnungen lernen.
Bartos Forschung war maßgeblich daran beteiligt, bestärkendes Lernen von theoretischen Ideen zu praktischen Algorithmen weiterzuentwickeln und beeinflusste Bereiche von der Robotik bis zum Spielen. Sein Lehrbuch Reinforcement Learning: An Introduction ist zu einem Standardreferenzwerk des Fachgebiets geworden, und seine Beiträge wurden 2024 mit dem ACM A.M. Turing Award gewürdigt, der oft als „Nobelpreis der Informatik“ bezeichnet wird.
Frühes Leben und Ausbildung
Andrew Gehret Barto wurde 1948 geboren. Ursprünglich studierte er Schiffsarchitektur und Meerestechnik an der University of Michigan, wandte sich jedoch nach der Begegnung mit den Arbeiten von Michael Arbib, Warren Sturgis McCulloch und Walter Pitts der Nutzung von Computern und Mathematik zur Modellierung des Gehirns zu. Er wechselte sein Fachgebiet und schloss 1970 mit einem Bachelor of Science in Mathematik ab. Anschließend setzte er seine Studien an der University of Michigan fort und promovierte 1975 mit einer Arbeit über zelluläre Automaten.
Akademische Laufbahn an der UMass Amherst
1977 trat Barto der Abteilung für Informatik an der University of Massachusetts Amherst als Postdoktorand bei. Er durchlief die akademischen Ränge und wurde 1982 außerordentlicher Professor sowie 1991 ordentlicher Professor. Von 2007 bis 2011 war er Leiter der Abteilung und war zudem Kernmitglied des Programms für Neurowissenschaften und Verhalten.
An der UMass leitete Barto gemeinsam das Labor für autonomes Lernen (ursprünglich Labor für adaptive Netzwerke), das sich zu einem Zentrum für die Erforschung des bestärkenden Lernens entwickelte. Sein Doktorand Richard Sutton arbeitete mit ihm an zentralen Ideen, und gemeinsam entwickelten sie den mathematischen Rahmen, der das Feld definieren sollte.
Grundlagen des bestärkenden Lernens
Als Barto an der UMass begann, schloss er sich einer Gruppe an, die untersuchte, wie das Verhalten von Neuronen im Gehirn als Grundlage für Intelligenz dienen könnte – ein Konzept, das von A. Harry Klopf vorangetrieben wurde. Barto und Sutton nutzten Markov-Entscheidungsprozesse (MDPs) als mathematische Grundlage, um zu erklären, wie Agenten in stochastischen Umgebungen Entscheidungen treffen und nach jeder Aktion Belohnungen erhalten. Während die traditionelle MDP-Theorie annahm, dass Agenten vollständiges Wissen über ihre Umgebung besitzen, ermöglichte die Innovation von Barto und Sutton den Umgang mit unbekannten Umgebungen und Belohnungen, wodurch die Algorithmen auf eine breite Palette realer Anwendungen übertragbar wurden.
Ihre Arbeit legte das Fundament für das moderne bestärkende Lernen, das später Durchbrüche wie den Sieg von Googles AlphaGo über menschliche Meister im Spiel Go ermöglichte. Die Technik ist zu einem Eckpfeiler des aktuellen KI-Booms geworden und beeinflusst die Forschung in Deep Learning und neuronalen Netzen.
Publikationen und Einfluss
Barto hat über einhundert Artikel und Buchkapitel in Fachzeitschriften, Büchern und Konferenzbänden veröffentlicht. Sein einflussreichstes Werk ist das Lehrbuch Reinforcement Learning: An Introduction, das er gemeinsam mit Richard Sutton verfasste und das erstmals 1998 beim MIT Press erschien; eine zweite Auflage folgte 2018. Darüber hinaus war er Mitherausgeber des Handbook of Learning and Approximate Dynamic Programming (Wiley-IEEE Press, 2004) zusammen mit Jennie Si, Warren Powell und Don Wunch II.
Seine Forschung hat zahlreiche Bereiche direkt beeinflusst, darunter Robotik, Spiele und autonome Systeme, und seine Ideen sind wesentlich für die Entwicklung von großen Sprachmodellen und generativer KI.
Auszeichnungen und Ehrungen
Barto hat für seine Beiträge zahlreiche Auszeichnungen erhalten. Er ist Fellow der American Association for the Advancement of Science, Fellow und Senior Member des IEEE sowie Mitglied der Association for the Advancement of Artificial Intelligence und der Society for Neuroscience. 2004 erhielt er den Pioneer Award der IEEE Neural Network Society, 2017 den Award for Research Excellence der IJCAI und 2019 den Lifetime Achievement Award der UMass für Neurowissenschaften.
2024 wurde ihm gemeinsam mit Richard S. Sutton der Turing Award der Association for Computing Machinery verliehen, mit der Begründung: „Für die Entwicklung der konzeptionellen und algorithmischen Grundlagen des bestärkenden Lernens.“ Diese Ehrung festigte seinen Status als prägende Figur des Fachgebiets.