OpenAI Five est un programme informatique développé par OpenAI qui joue au jeu vidéo Dota 2 en cinq contre cinq. Il a été le premier système d'intelligence artificielle à vaincre les champions du monde en titre lors d'un match d'esport professionnel, réalisant cet exploit en avril 2019. Le projet visait à faire progresser l'apprentissage automatique en s'attaquant à un jeu comportant des espaces d'action continus, une observabilité partielle et une stratégie à long terme, afin de créer des systèmes de résolution de problèmes plus généraux.
Le développement du système a commencé en novembre 2016, et sa première apparition publique a eu lieu à The International 2017, où il a battu le joueur professionnel Dendi dans un match en un contre un. En 2018, il pouvait jouer en équipe complète de cinq, et en 2019, il a remporté une série au meilleur de trois contre OG, les champions de The International 2018. Les algorithmes d'OpenAI Five ont ensuite été adaptés à d'autres projets, notamment une main robotique. Il est souvent comparé à d'autres IA de jeu comme AlphaGo, Deep Blue et AlphaStar.
Historique
OpenAI a commencé à développer les algorithmes des bots Dota 2 en novembre 2016. L'entreprise a choisi Dota 2 car il était populaire sur la plateforme de streaming Twitch, disposait d'un support natif pour Linux et offrait une interface de programmation (API) pour les développeurs. La première démonstration publique a eu lieu à The International 2017 en août, où le bot a battu le joueur professionnel ukrainien Dendi lors d'un match en direct en un contre un. Après le match, le directeur technique d'OpenAI, Greg Brockman, a expliqué que le bot avait appris en jouant contre lui-même pendant deux semaines de temps réel, grâce à l'apprentissage par renforcement, une méthode où le système s'améliore par essais et erreurs.
En juin 2018, les bots pouvaient jouer ensemble en équipe complète de cinq et ont battu des équipes amateurs et semi-professionnelles. À The International 2018, OpenAI Five a disputé deux matchs d'exhibition contre des équipes professionnelles - paiN Gaming et une équipe de stars composée d'anciens joueurs chinois - mais a perdu les deux. Malgré ces défaites, OpenAI a considéré l'événement comme un succès, car il a fourni des données précieuses pour affiner les algorithmes. La dernière démonstration publique a eu lieu en avril 2019, lorsqu'OpenAI Five a remporté une série au meilleur de trois contre OG, les champions du monde en titre, lors d'un événement en direct à San Francisco. Le même mois, un événement en ligne a permis au public de jouer contre les bots ; en quatre jours, les bots ont disputé 42 729 parties et en ont remporté 99,4 %.
Architecture
Chaque bot d'OpenAI Five était un réseau de neurones avec une couche contenant une unité LSTM (mémoire à long et court terme) de 4096 unités qui traitait l'état actuel du jeu extrait de l'API de Dota 2. Le réseau générait des actions via plusieurs têtes d'action, chacune ayant une signification spécifique, comme le délai avant une action, le type d'action et les coordonnées de la cible. Le système observait le monde sous forme d'une liste de 20 000 nombres et produisait une liste de huit valeurs pour définir une action. Il était entraîné à l'aide de l'apprentissage par renforcement sur l'infrastructure « Rapid », qui gérait des milliers de machines. En 2018, OpenAI Five avait joué environ 180 années de temps de jeu, en utilisant 256 GPU et 128 000 cœurs de CPU, avec l'algorithme d'optimisation de politique proximale.
Comparaisons avec d'autres systèmes d'IA de jeu
OpenAI Five différait des IA de jeu antérieures comme Deep Blue (échecs), AlphaGo (go) et Watson (Jeopardy!) sur plusieurs aspects clés :
- Vision à long terme : Les matchs de Dota 2 durent environ 45 minutes à 30 images par seconde, ce qui donne environ 80 000 pas de temps par partie. OpenAI Five observait une image sur quatre, générant 20 000 actions. En revanche, une partie d'échecs se termine généralement en 40 coups, et une partie de go en 150 coups.
- État partiellement observable : Dota 2 comporte un brouillard de guerre qui masque les unités et les mouvements ennemis, obligeant les joueurs à prendre des décisions avec des informations incomplètes. Les échecs et le go sont des jeux à information complète, sans éléments cachés.
- Espace d'action continu : Chaque héros de Dota 2 peut effectuer des dizaines d'actions ciblant des unités ou des positions, les développeurs autorisant jusqu'à 170 000 actions possibles par héros. En moyenne, environ 1 000 actions valides sont disponibles à chaque pas de temps, contre 35 aux échecs et 250 au go.
- Espace d'observation continu : L'état du jeu est représenté par 20 000 nombres, alors qu'un échiquier compte environ 70 valeurs et un plateau de go environ 400.
Ces caractéristiques faisaient de Dota 2 un défi plus complexe pour l'IA, exigeant du système qu'il gère la prise de décision en temps réel, la planification à long terme et le travail d'équipe.
Réception
OpenAI Five a été largement reconnu par les communautés de l'IA, du jeu vidéo et de la technologie. Le fondateur de Microsoft, Bill Gates, a qualifié ses victoires de « grosse affaire » car elles nécessitaient du travail d'équipe et de la collaboration. Le champion d'échecs Garry Kasparov, qui a perdu contre Deep Blue en 1997, a déclaré que malgré les défaites des bots à The International 2018, ils y arriveraient « et plus tôt que prévu ». Des experts en IA interrogés par MIT Technology Review ont noté que Dota 2 était un jeu « extrêmement complexe », rendant même les victoires contre des joueurs non professionnels impressionnantes. PC Gamer a écrit que les victoires contre des joueurs professionnels constituaient une étape importante pour la recherche en IA, soulignant la capacité du système à gérer des environnements complexes et dynamiques.