AlphaStar est un programme informatique développé par DeepMind qui joue au jeu de stratégie en temps réel StarCraft II. Il a été présenté en janvier 2019 et a atteint un niveau de jeu comparable à celui des meilleurs professionnels humains, démontrant des progrès en intelligence artificielle pour des domaines nécessitant une planification à long terme, une prise de décision en temps réel et la gestion d'informations imparfaites. Le système utilise une combinaison de techniques de apprentissage profond et de apprentissage automatique, notamment des réseaux de neurones et l'apprentissage par renforcement, pour maîtriser les mécanismes complexes du jeu.
Le développement d'AlphaStar a été un effort collaboratif au sein de DeepMind, impliquant des chercheurs tels que Koray Kavukcuoglu et Karen Simonyan. Le projet s'est appuyé sur des travaux antérieurs en IA pour les jeux, comme les programmes d'échecs et de Go développés par DeepMind, mais a relevé les défis supplémentaires posés par la nature en temps réel de StarCraft II, les informations cachées et le grand espace d'actions.
Gameplay et entraînement
AlphaStar a été entraîné en combinant l'apprentissage supervisé à partir de rediffusions humaines et l'auto-jeu par apprentissage par renforcement. Initialement, le système a appris à imiter les joueurs humains en analysant des milliers de matchs enregistrés. Il a ensuite affiné ses stratégies en jouant contre lui-même et contre des versions antérieures du programme, utilisant une approche d'entraînement basée sur des ligues pour garantir une robustesse face à une variété de styles de jeu.
L'agent fonctionne à travers un réseau de neurones qui traite l'état du jeu, y compris les unités visibles, les bâtiments et les ressources, ainsi que le brouillard de guerre qui masque les mouvements ennemis. Il produit des actions à un rythme comparable à celui des joueurs humains, avec une restriction sur le nombre d'actions par minute pour éviter d'exploiter une vitesse surhumaine. Dans ses démonstrations publiques, AlphaStar a joué à un niveau qui a vaincu des joueurs professionnels, y compris une victoire de 10-1 contre le joueur professionnel Grzegorz 'MaNa' Komincz en décembre 2018, bien que les matchs aient été joués dans des conditions différentes des paramètres de tournoi standard.
Architecture technique
L'architecture d'AlphaStar utilise un réseau de neurones basé sur le transformeur, similaire aux modèles de transformeur utilisés dans le traitement du langage naturel, pour traiter les informations séquentielles et spatiales du jeu. Le réseau reçoit en entrée un ensemble de cartes de caractéristiques représentant la carte du jeu, les unités et d'autres entités, et produit une politique pour sélectionner les actions et une fonction de valeur pour estimer le résultat attendu. Le système intègre également un réseau de pointeurs pour gérer le grand nombre de cibles possibles pour les actions, comme la sélection d'une unité ou d'un emplacement spécifique.
L'entraînement a été effectué sur une infrastructure de calcul distribuée à grande échelle, utilisant des milliers de TPU et CPU de Google Cloud. La version finale d'AlphaStar a été entraînée sur une période de plusieurs mois, avec l'entraînement basé sur des ligues impliquant plusieurs agents qui se sont affrontés et ont appris les uns des autres. Cette approche a permis au système de découvrir des stratégies diverses et de s'adapter pour les contrer.
Résultats et signification
En juillet 2019, DeepMind a publié un article dans la revue Nature décrivant les réalisations d'AlphaStar. Le programme a atteint le niveau Grandmaster sur le classement européen de StarCraft II, se classant parmi les 0,2 % des meilleurs joueurs humains. Il s'agissait du premier système d'IA à atteindre ce niveau dans un jeu de stratégie en temps réel populaire, considéré comme un environnement plus difficile que les jeux de plateau comme les échecs ou le Go en raison de sa complexité et de ses informations cachées.
Le succès d'AlphaStar a mis en évidence le potentiel de l'apprentissage par renforcement dans des environnements complexes et proches du monde réel. Les techniques développées, telles que l'entraînement en ligue et l'utilisation de réseaux de transformeurs pour la prise de décision séquentielle, ont influencé les recherches ultérieures en IA générative et dans d'autres domaines du apprentissage profond. Cependant, le système a été conçu spécifiquement pour StarCraft II et n'était pas directement applicable à d'autres domaines sans une adaptation significative.
Réception et limites
AlphaStar a attiré l'attention de la communauté de recherche en IA et de la communauté des joueurs. Certains critiques ont noté que les conditions de ses démonstrations initiales, telles que l'utilisation d'une carte fixe et la possibilité de voir toute la carte dans certains matchs, lui donnaient des avantages sur les joueurs humains. DeepMind a répondu à certaines de ces préoccupations dans les versions ultérieures en limitant la vue de l'agent à ce qu'un joueur humain verrait et en jouant sur le classement public.
Malgré ses réalisations, AlphaStar présentait des limites. Il nécessitait d'énormes ressources informatiques pour l'entraînement, et sa performance était spécifique à StarCraft II. Le système ne se généralisait pas à d'autres jeux ou tâches, et ses stratégies étaient parfois non conventionnelles, reflétant les différences entre le jeu de l'IA et celui des humains. En 2024, DeepMind n'a pas publié AlphaStar comme produit accessible au public, et le projet est considéré comme une démonstration de recherche plutôt qu'un outil commercial.
Héritage
AlphaStar a contribué au domaine plus large de l'IA en démontrant que l'apprentissage par renforcement profond pouvait gérer des environnements multi-agents complexes avec de longs horizons temporels. Son utilisation de réseaux de transformeurs pour le jeu a précédé l'adoption généralisée des transformeurs dans d'autres domaines, et sa méthode d'entraînement en ligue a été citée dans des travaux ultérieurs sur les systèmes multi-agents. Le projet a également suscité des discussions sur l'équité et l'éthique de l'IA dans les jeux compétitifs, et il reste un exemple notable des capacités de l'IA en matière de raisonnement stratégique.