AlphaGo Zero était un programme informatique développé par Google DeepMind en 2017, qui a atteint des performances surhumaines dans le jeu de plateau Go grâce à l'apprentissage par renforcement par auto-jeu. Contrairement à son prédécesseur AlphaGo, qui avait été entraîné sur des milliers de parties humaines amateurs et professionnelles, AlphaGo Zero a appris entièrement de zéro, en commençant par des mouvements aléatoires et en s'améliorant uniquement en jouant contre lui-même. Le programme a été présenté dans un article publié dans la revue Nature en octobre 2017, intitulé « Mastering the game of Go without human knowledge ».
Le système combinait un réseau de neurones profond avec un algorithme de apprentissage automatique connu sous le nom de recherche arborescente de Monte-Carlo. Le réseau de neurones évaluait les positions du plateau et prédisait la probabilité de victoire, tandis que la recherche arborescente guidait la sélection des mouvements. L'entraînement utilisait une boucle d'apprentissage par renforcement : le réseau jouait des millions de parties en auto-jeu, et ses paramètres étaient mis à jour pour mieux prédire les résultats des parties et améliorer les choix de mouvements. Cette approche éliminait le besoin de données d'experts humains, démontrant qu'une IA pouvait découvrir des stratégies complexes de manière indépendante.
Architecture et entraînement
L'architecture d'AlphaGo Zero était plus simple que celle des versions précédentes. Il utilisait un seul réseau de neurones avec des blocs résiduels, un type de structure de deep learning qui aide à entraîner des réseaux très profonds. Le réseau prenait en entrée l'état actuel du plateau et produisait deux valeurs : un vecteur de politique (probabilités pour chaque mouvement possible) et un scalaire de valeur (probabilité de victoire estimée). L'entraînement utilisait l'optimiseur Adam et une fonction de perte personnalisée combinant les erreurs de politique et de valeur.
Les parties en auto-jeu étaient générées en parallèle sur plusieurs machines. Chaque partie était jouée par le meilleur réseau actuel, et les résultats étaient utilisés pour mettre à jour le réseau via une descente de gradient stochastique. Le processus d'entraînement a duré environ 72 heures sur 64 unités de traitement tensoriel (TPU), un accélérateur matériel personnalisé conçu par Google. Pendant ce temps, le programme a joué environ 4,9 millions de parties en auto-jeu, un nombre bien inférieur aux milliards de parties utilisées dans certains autres régimes d'entraînement d'IA.
Performances et résultats
Après trois jours d'entraînement, AlphaGo Zero a atteint un niveau de jeu supérieur à celui de la version précédente d'AlphaGo qui avait vaincu le champion du monde Lee Sedol en 2016. Après 21 jours, il a atteint un classement d'environ 5185 Elo, plus élevé que tout joueur humain ou système d'IA précédent. Dans une série de parties d'évaluation, AlphaGo Zero a battu AlphaGo Lee par 100 parties à 0, et a également battu AlphaGo Master, une version améliorée antérieure, par 89 parties à 11.
Le programme a découvert de nombreuses stratégies de Go connues par lui-même, notamment des schémas d'ouverture comme l'invasion du « point 3-3 » et des tactiques complexes de milieu de partie. Il a également développé des stratégies novatrices qui n'étaient pas courantes dans le jeu humain, comme des mouvements précoces inhabituels qui ont surpris les joueurs professionnels. Cela a montré que l'apprentissage par auto-jeu pouvait produire des solutions créatives sans guidage humain.
Importance et impact
AlphaGo Zero a représenté une étape majeure dans la recherche en intelligence artificielle. Il a démontré qu'un algorithme d'apprentissage à usage général, combiné à une puissance de calcul suffisante, pouvait maîtriser un domaine complexe sans aucune connaissance préalable. Cela contrastait avec les approches antérieures qui reposaient fortement sur l'expertise humaine ou des caractéristiques conçues à la main. Le succès d'AlphaGo Zero a influencé les travaux ultérieurs en apprentissage par renforcement, y compris des applications à d'autres jeux et à des problèmes du monde réel comme le repliement des protéines et la conception de puces.
La méthode a également mis en évidence l'importance des ressources computationnelles. Bien que l'algorithme soit conceptuellement simple, il nécessitait un matériel important pour exécuter des millions de parties en auto-jeu. Cela a soulevé des questions sur l'accessibilité de telles techniques, car seules de grandes organisations comme DeepMind pouvaient se permettre l'infrastructure nécessaire. Cependant, les idées centrales ont ensuite été adaptées à des problèmes à plus petite échelle et à des implémentations open source.
Héritage et travaux ultérieurs
Les principes derrière AlphaGo Zero ont été étendus à d'autres domaines. En 2019, DeepMind a publié AlphaZero, une version plus générale capable de jouer au Go, aux échecs et au shogi en utilisant la même approche d'auto-jeu. AlphaZero a atteint des performances surhumaines dans les trois jeux, démontrant davantage la polyvalence de la méthode. Le succès de ces systèmes a contribué au domaine plus large du deep learning et a renforcé le potentiel de l'apprentissage par renforcement dans le développement de l'IA.
AlphaGo Zero a également suscité des discussions sur la nature de la créativité et de l'intuition dans l'IA. Sa capacité à découvrir des stratégies novatrices sans apport humain suggérait que les machines pouvaient générer des solutions originales dans des environnements complexes. Cela a des implications au-delà des jeux, notamment pour la découverte scientifique et les problèmes d'optimisation. Le programme reste un exemple marquant de la manière dont des règles d'apprentissage simples peuvent conduire à un comportement sophistiqué lorsqu'elles sont combinées à une puissance de calcul suffisante.
Réception et critiques
Bien qu'AlphaGo Zero ait été largement salué pour ses réalisations techniques, certains chercheurs ont noté des limites. Le processus d'entraînement nécessitait d'énormes ressources computationnelles, ce qui le rendait impraticable pour de nombreux laboratoires académiques. De plus, le programme était spécialisé pour le Go et ne se généralisait pas à d'autres tâches sans modification significative. Les critiques ont également souligné que l'approche d'auto-jeu repose sur un environnement bien défini avec des règles claires, ce qui peut ne pas s'appliquer aux problèmes du monde réel avec incertitude et informations incomplètes.
Malgré ces réserves, l'impact d'AlphaGo Zero sur la recherche en IA a été substantiel. Il a inspiré de nouveaux travaux sur l'auto-jeu et l'apprentissage par curriculum, et son succès a aidé à valider l'idée que le comportement intelligent peut émerger de mécanismes d'apprentissage simples. Le programme est souvent cité comme un exemple clé de la puissance des techniques modernes de machine learning et reste un sujet d'étude dans les cours d'IA et les articles de recherche.