David Silver ist ein britischer Informatiker und leitender Forscher bei Google DeepMind, bekannt vor allem für die Leitung der Reinforcement learning-Programme, die AlphaGo, AlphaZero und MuZero hervorbrachten. Er promovierte an der University of Cambridge und arbeitete später mit Richard Sutton an der University of Alberta an Methoden des Temporal-Difference-Lernens, bevor er als Dozent am University College London tätig wurde und 2013 dem Gründungsforschungsteam von DeepMind beitrat. Vor diesem akademischen Werdegang arbeitete Silver als Spiele-KI-Programmierer bei Elixir Studios, einem Londoner Spieleunternehmen, das von Demis Hassabis mitgegründet wurde, eine frühe Zusammenarbeit, die die beiden später erneuerten, als beide zu DeepMind stießen.
AlphaGo und Selbstspiel-basiertes Reinforcement Learning
Silver leitete das AlphaGo-Projekt ab etwa 2014, das tiefe neuronale Netze mit Monte-Carlo-Baumsuche kombinierte, die durch Reinforcement learning und Selbstspiel trainiert wurden. Das System besiegte im Oktober 2015 den Europameister Fan Hui und anschließend den Weltmeister Lee Sedol mit 4:1 im AlphaGo versus Lee Sedol-Match im März 2016 in Seoul, ein Ergebnis, das Jahre früher eintrat, als die meisten Experten für das Spiel Go vorhergesagt hatten. Silver und Kollegen bei DeepMind veröffentlichten unter Demis Hassabis die AlphaGo-Methodik 2016 in Nature, wobei Silver als Hauptautor des Papers genannt wurde.
Er leitete 2017 AlphaZero, das den Ansatz verallgemeinerte, um Schach, Shogi und Go ausschließlich durch Selbstspiel zu lernen, ohne menschliche Spielaufzeichnungen oder handgefertigte Merkmale, und nach nur Stunden des Trainings die stärksten bestehenden Programme in jedem Spiel erreichte oder übertraf. Ein Nachfolgesystem, MuZero, folgte 2019 und erweiterte die Methode auf Umgebungen, in denen die Regeln nicht im Voraus bekannt sind, indem der Agent sein eigenes internes Vorhersagemodell des Spiels oder der Aufgabe lernt.
Belohnung ist genug
Diese Arbeit speiste eine breitere Forschungsthese, die Silver zur allgemeinen Intelligenz vorangetrieben hat. In einem Paper von 2021 mit dem Titel „Reward Is Enough“, das er zusammen mit Satinder Singh, Doina Precup und Richard Sutton verfasste, argumentierte er, dass Agenten, die ausschließlich darauf trainiert werden, ein ausreichend reichhaltiges Belohnungssignal in einer ausreichend komplexen Umgebung zu maximieren, im Prinzip viele Kennzeichen intelligenten Verhaltens entwickeln könnten, darunter Planung, Erkundung, Gedächtnis und Generalisierung, ohne dass diese Fähigkeiten separat entwickelt werden müssten. Das Paper positionierte Reinforcement learning als einen Kandidaten für einen allgemeinen Rahmen zur Erreichung leistungsfähigerer Systeme, eine Behauptung, die neben dem auf Skalierung basierenden Ansatz großer Sprachmodelle weiterhin umstritten ist.
Anerkennung
Für die AlphaGo-Arbeit teilte sich Silver den ACM-Preis für Informatik 2019. Er hat weiterhin eine Professur am University College London inne, neben seiner Forschungsrolle bei Google DeepMind, und seine Arbeiten zu Selbstspiel und modellbasiertem Reinforcement learning gehören weiterhin zu den am häufigsten zitierten in diesem Bereich.