Richard Sutton ist ein Informatiker, der weithin als einer der Begründer des modernen Verstärkungslernens gilt, jenem Zweig des maschinellen Lernens, der sich mit Agenten befasst, die durch Versuch und Irrtum anhand von Belohnungssignalen lernen.
Karriere und Beiträge
Sutton promovierte 1984 in Informatik an der University of Massachusetts Amherst, wo er mit Andrew Barto arbeitete, mit dem er das Temporal-Difference-Lernen (TD-Lernen) entwickelte, eine Methode zur Aktualisierung von Wertschätzungen, die auf der Differenz zwischen aufeinanderfolgenden Vorhersagen basiert und nicht auf ein endgültiges Ergebnis wartet. Das TD-Lernen wurde zu einer der zentralen algorithmischen Ideen im Verstärkungslernen und wurde später mit neuronalen-Netzwerk-Funktionsapproximation kombiniert - von Gerald Tesauros Backgammon-spielendem TD-Gammon in den 1990ern bis zu AlphaGo und seinen Nachfolgern, die Jahrzehnte später bei Google DeepMind von Forschern wie David Silver, der bei Sutton studierte, entwickelt wurden. Suttons und Bartos Lehrbuch „Reinforcement Learning: An Introduction“, das 1998 erstmals veröffentlicht wurde, bleibt die Standardreferenz in diesem Feld.
Sutton verbrachte einen Großteil seiner späteren Karriere als Professor an der University of Alberta und als angesehener Forschungswissenschaftler im Alberta-Labor von Google DeepMind, und er dient als leitender wissenschaftlicher Berater des Alberta Machine Intelligence Institute (Amii), einem der Zentren, die Kanada als Zentrum der Reinforcement-Learning-Forschung etabliert haben.
„Die bittere Lektion“
Im Jahr 2019 veröffentlichte Sutton einen kurzen, viel diskutierten Aufsatz mit dem Titel „The Bitter Lesson“, in dem er argumentiert, dass im Laufe der Geschichte der KI-Forschung allgemeine Methoden, die die zunehmende Rechenleistung nutzen, wie Suche und Lernen, stets Ansätze übertroffen haben, die auf handkodiertem menschlichem Fachwissen basieren, und dass Forscher dieser Lektion wiederholt widerstehen, weil sie sich wie ein Verzicht auf Verständnis anfühlen. Der Aufsatz ist zu einem Eckpunkt bei Debatten über Skalierungsgesetze und die Gestaltung von Großsprachmodell-Systemen geworden und wird häufig angeführt, um die Priorisierung von Skalierung und allgemeinen Algorithmen gegenüber handgeführten Heuristiken zu rechten. Er wir zusätzlich oft neben neueren Arbeiten zu Testzeitrechen und Reasoning-Modellen gelesen, die ein Reinforcement-Learning-artiges Training mit erklärbaren Aufgaben verwenden.
Sutton teilte den 2024 Turing Award mit Andrew Bartel „für die Entwicklung der konzeptionellen und der ontologischen Grundlagen des Verstärkungslernens“, eine Anerkennung, die kam, als Reinforcement-Learning-Techniken, einschließlich RLHF nicht nur für spielsysteme, sondern auch für die Angleichung der von modernen Konversations-KI wichtiger wurden - besonders zentral geworden waren.