DeepStack est un programme informatique d'intelligence artificielle conçu pour jouer au poker à deux joueurs, plus précisément au Texas Hold'em sans limite en tête-à-tête. Il s'agit du premier programme informatique à avoir surpassé des joueurs professionnels dans ce jeu. Le programme a été développé par une équipe internationale composée de chercheurs de l'Université Charles, de l'Université technique tchèque et de l'Université de l'Alberta.
Contexte
Le poker constitue un jeu de référence majeur dans la communauté académique, et de nombreuses recherches ont été menées pour trouver des stratégies optimales face à des adversaires dans le pire des cas. Si des programmes ont réussi à battre des joueurs professionnels dans des jeux à information parfaite, comme les échecs, depuis des décennies, les jeux à information imparfaite exigent un raisonnement bien plus complexe. Les approches antérieures reposaient principalement sur la simplification du jeu par l'utilisation d'abstractions. Cependant, ces abstractions dans les jeux à information imparfaite aboutissent souvent à des stratégies facilement exploitables. DeepStack, en revanche, s'appuie sur plusieurs innovations algorithmiques, notamment l'utilisation de réseaux de neurones et la résolution continue.
Algorithme
Au cœur du programme se trouve l'utilisation de réseaux de neurones pour évaluer la valeur de combinaisons de cartes spécifiques. Ces réseaux sont entraînés uniquement sur un petit nombre d'états de jeu et servent à généraliser pour des situations non rencontrées lors de l'entraînement. Le programme utilise une recherche avec ces réseaux de neurones et une résolution continue afin de garantir que la stratégie adoptée à chaque étape reste cohérente avec celle des étapes précédentes. La procédure de recherche s'appuie sur la minimisation des regrets contrefactuels pour mettre à jour de manière itérative la stratégie dans son arbre de recherche, et les réseaux de neurones sont employés pour l'évaluation des feuilles. Cette évaluation évite de raisonner sur l'intégralité du jeu restant en substituant, au-delà d'une certaine profondeur, le calcul complet par une estimation rapide.
Tournoi de 2016 avec des professionnels
Dans une étude achevée en décembre 2016, DeepStack a affronté 11 joueurs professionnels de poker lors de 44 000 mains jouées. Sur l'ensemble des parties, DeepStack a remporté 49 grosses blinds pour 100 mains (alors qu'un abandon systématique entraînerait une perte de 75 grosses blinds pour 100 mains), soit un écart de plus de quatre écarts-types par rapport à zéro. Cela en fait le premier programme informatique à battre des joueurs professionnels au Texas Hold'em sans limite en tête-à-tête. Ce résultat a constitué une étape importante dans la recherche en intelligence artificielle, démontrant que l'IA pouvait gérer la complexité des jeux à information imparfaite.
Approches concurrentes
Parallèlement à DeepStack, une approche concurrente a été publiée par un groupe de recherche de l'Université Carnegie Mellon, sous le nom de Libratus. En janvier 2017, Libratus a été opposé à quatre joueurs de poker de haut niveau lors d'un tournoi. L'algorithme de Libratus a également été présenté dans la revue Science. Contrairement à DeepStack, Libratus n'utilise pas de réseaux de neurones pour l'évaluation des feuilles. Les experts estiment que l'approche par apprentissage avec réseaux de neurones, adoptée par DeepStack, est plus générale et a depuis été reprise dans des travaux ultérieurs pour d'autres jeux à information imparfaite. Cette distinction met en lumière la portée plus large de l'approche de DeepStack dans le domaine de l'apprentissage automatique.
Réception par la communauté du poker
Dara O'Kearney, un joueur professionnel de poker irlandais ayant participé aux 44 000 mains, a déclaré que DeepStack jouait d'une manière similaire à celle de certains joueurs humains, en s'appuyant sur la théorie des jeux. Le succès du programme a été perçu comme une validation du potentiel des techniques d'apprentissage profond dans la prise de décision stratégique, et a suscité un intérêt accru pour l'application de méthodes similaires à d'autres domaines.
Voir aussi
- Joueurs de poker informatiques
- Cepheus (bot de poker)
- Libratus
- Pluribus (bot de poker)