Libratus est un programme d'intelligence artificielle conçu pour jouer au poker, plus précisément au Texas hold'em sans limite en tête-à-tête. Il a été développé à l'Université Carnegie Mellon à Pittsburgh, ses créateurs ayant l'intention de le rendre généralisable à d'autres applications non spécifiques au poker. Le nom Libratus est une expression latine signifiant « équilibré », et il était le successeur nominal d'un bot de poker antérieur, Claudico.
Contexte et développement
Libratus a été construit de zéro, mais il s'est appuyé sur l'héritage de Claudico. Son développement a nécessité plus de 15 millions d'heures de calcul sur processeur, contre 2 à 3 millions pour Claudico, et a été réalisé sur le superordinateur « Bridges » du Pittsburgh Supercomputing Center. Selon le professeur Tuomas Sandholm, l'un des créateurs de Libratus, le bot n'a pas de stratégie intégrée fixe ; il utilise plutôt un algorithme qui calcule la stratégie à la volée. La technique de base était une nouvelle variante de la minimisation des regrets contrefactuels, à savoir la méthode CFR+ introduite en 2014 par Oskari Tammelin. En plus de CFR+, Libratus utilisait une nouvelle technique de résolution de fin de partie, développée par Sandholm et son doctorant Noam Brown. Cette méthode éliminait le besoin de « mappage d'actions », qui était auparavant la norme de facto en programmation de poker.
Parallèlement au développement de Libratus, une équipe internationale de l'Université Charles, de l'Université technique tchèque et de l'Université de l'Alberta a développé DeepStack, qui, en décembre 2016, est devenu le premier programme informatique à vaincre des joueurs de poker professionnels au Texas hold'em sans limite en tête-à-tête. Bien que les deux systèmes aient utilisé la minimisation des regrets contrefactuels, ils différaient dans leurs approches : DeepStack utilisait des réseaux neuronaux pour évaluer les états du jeu, tandis que Libratus n'utilisait pas de réseaux neuronaux pour l'évaluation des feuilles.
Match de 2017 entre humains et IA
Du 11 au 31 janvier 2017, Libratus a participé à un tournoi intitulé « Brains vs. Artificial Intelligence: Upping the Ante challenge » contre quatre joueurs de poker humains de haut niveau : Jason Les, Dong Kim, Daniel McAulay et Jimmy Chou. Le tournoi a impliqué 120 000 mains, soit une augmentation de 50 % par rapport au tournoi précédent auquel Claudico avait participé en 2015, et la durée a été prolongée de 13 à 20 jours pour gérer le volume supplémentaire.
Les quatre joueurs ont été répartis en deux sous-équipes. Une sous-équipe jouait en ouvert, tandis que l'autre était située dans une salle séparée surnommée « The Dungeon », où aucun téléphone portable ni autre communication externe n'était autorisé. La sous-équipe du Donjon recevait la même séquence de cartes que la sous-équipe ouverte, mais avec les côtés inversés : les humains du Donjon recevaient les cartes que l'IA recevait en ouvert et vice versa. Cette configuration visait à neutraliser l'effet de la chance aux cartes.
Le prix de 200 000 $ était partagé exclusivement entre les joueurs humains. Chaque joueur recevait un minimum de 20 000 $, le reste étant distribué en fonction de leur performance contre l'IA. Comme écrit à l'avance dans les règles du tournoi, l'IA elle-même n'a pas reçu de prix, même si elle a remporté le tournoi.
Pendant le tournoi, Libratus affrontait les joueurs pendant la journée, et pendant la nuit, il perfectionnait sa stratégie en analysant le jeu de la journée précédente, en particulier ses pertes. Cela lui permettait de corriger en continu les imperfections que l'équipe humaine découvrait, créant une course aux armements permanente entre les humains et Libratus. L'analyse nocturne utilisait 4 millions d'heures de calcul supplémentaires sur le superordinateur Bridges.
Il existait un marché de paris actif parmi les joueurs de poker sur qui gagnerait le tournoi. Il a commencé avec une cote de 4:1 contre le bot, mais au 8e jour, il est devenu un marché de paris sur quel humain perdrait le moins.
Force de l'IA
Libratus a mené contre les joueurs humains dès le premier jour du tournoi. Le joueur Dong Kim a été cité sur la force de l'IA comme suit : « Je n'avais pas réalisé à quel point elle était bonne jusqu'à aujourd'hui. J'avais l'impression de jouer contre quelqu'un qui trichait, comme si elle pouvait voir mes cartes. Je ne l'accuse pas de tricher. C'était juste aussi bon. »
Au 16e jour de la compétition, Libratus a franchi pour la première fois la barre du million de dollars. À la fin de cette journée, il était en avance de 1 194 402 $ en jetons contre l'équipe humaine. À la fin de la compétition, Libratus était en avance de 1 766 250 $ en jetons et a donc gagné de manière éclatante. Comme la grosse blinde des matchs était fixée à 100 $, le taux de victoire de Libratus équivaut à 14,7 grosses blindes pour 100 mains, ce qui est considéré comme un taux de victoire exceptionnellement élevé au poker et est hautement significatif sur le plan statistique.
Pour comparaison, DeepStack a atteint un taux de victoire de 49 grosses blindes pour 100 mains dans son étude contre 11 professionnels sur 44 000 mains, bien que les conditions de test différentes (nombre de mains, niveaux de compétence des adversaires et format du tournoi) rendent les comparaisons directes difficiles.
Parmi les joueurs humains, Dong Kim est arrivé premier, MacAulay deuxième, Jimmy Chou troisième et Jason Les quatrième.
Le bot a un style de mise non conventionnel où, dans des situations spécifiques, il misait 20 000 $ même lorsqu'il y avait 100 $ dans le pot. Après sa victoire, cette stratégie a été analysée et adoptée par la communauté du poker.
Autres applications possibles
Bien que la première application de Libratus ait été de jouer au poker, ses concepteurs avaient une mission beaucoup plus large en tête pour l'IA. Les chercheurs ont conçu l'IA pour qu'elle puisse apprendre n'importe quel jeu ou situation où des informations incomplètes sont disponibles et où des « adversaires » peuvent cacher des informations ou même recourir à la tromperie. Pour cette raison, Sandholm et ses collègues proposent d'appliquer le système à d'autres problèmes du monde réel, notamment la cybersécurité, les négociations commerciales ou la planification médicale.
Voir aussi
- DeepStack
- Joueurs de poker informatiques
- Cepheus (bot de poker)
- Claudico
- Polaris (bot de poker)
- Pluribus (bot de poker)
Références
Liens externes
- Brains versus Artificial Intelligence Archivé 2016-02-03 sur la Wayback Machine site officiel au Rivers Casino