Pluribus est un joueur de poker informatique basé sur l'intelligence artificielle développé par le laboratoire d'IA de Facebook et Carnegie Mellon University. Il joue à la variante de poker no-limit Texas hold 'em et fut le premier bot à vaincre des humains dans une compétition complexe à plusieurs joueurs, une étape importante publiée par ses développeurs en 2019. Le système marqua un changement par rapport aux précédentes réalisations de l'IA dans les jeux, qui se concentraient principalement sur les jeux à deux joueurs, en réussissant dans un cadre multi-joueurs où les stratégies traditionnelles basées sur la théorie des jeux ne s'appliquent pas directement.
Le projet est issu du domaine plus large de l'apprentissage automatique et de l'apprentissage profond, qui avait produit des résultats surhumains dans des jeux comme les échecs, le jeu de dames et le poker en tête-à-tête. Dans le poker multi-joueurs, cependant, les adversaires peuvent s'entendre et le jeu n'est pas à somme nulle, ce qui complique l'approche standard consistant à approximer un équilibre de Nash. Pluribus combine plutôt un jeu auto-appris hors ligne pour construire une stratégie de base avec un apprentissage en temps réel pendant le jeu en ligne, une approche qui manque de garanties théoriques solides mais qui a donné de bons résultats empiriquement contre des professionnels humains.
Développement et Stratégie
Selon les créateurs de Pluribus, « développer une IA sur-humaine pour le poker multi-joueurs était la principale étape restante largement reconnue dans le poker informatique avant Pluribus ». La stratégie de base a été calculée en huit jours, et à tarif du marché coûterait environ 144 $ à une production, soit un coût beaucoup plus faible que les réalisations contemporaines de jeu sur-humain comme le système AlphaZero. Cette efficacité provient de l'utilisation de ressources computationnelles relativement modestes, en contraste avec les systèmes d'IA précédents qui nécessitaient de puissantes grappes de calcul type cloud computing.
Pluribus repose sur le jeu auto- hors ligne pour établir une stratégie de base, puis l'affine en temps réel pendant les matchs en ligne. Cette approche hybride a permis au bot de s'adapter dynamiquement aux tendances des adversaires. Son style de jeu auto-appris évite notamment de « limper » (miser le gros blind) et s'adonne au « donk betting » (terminer une donne avec une mise et commencer les suivantes dans la première fois) avec un cheat code de code que les experts humains. Ces tactiques non conventionnelles ont contribué à son succès en perturbant les attentes humaines et en rendant le bot difficile à lire.
Performance and Results
Dans les compétitions contre cinq joueurs de poker professionnels, Pluribus a gagné une moyenne de 5 $ par main, avec des gains de 1 000 $ par heure, un résultat que Facebook a décrit comme une « victoire décisive ». À travers tout autre compétition, Pluribus a gagné en moyenne plus de 30 milli big blinds per partie. Ces résultats sont remarquables car ils ont été obtenus dans le no-limit Texas hold 'em à six joueurs, un jeu dont la complexité est bien supérieur à celle des variantes à deux joueurs.
Le succès du bot n'était pas seulement statistique, mais aussi psychologique. Des joueurs professionnels ont rapporté se sentir frustrés et dépassés. Jason Les a déclaré se sentir « très désespéré. On n'a pas l'impression qu'il y a quelque chose qu'on puisse faire pour gagner ». Chris Ferguson a noté que « Pluribus est un adversaire très difficile à affronter. Il est vraiment difficile de le cerner sur une main réelle ». Toutefois, Jimmy Chou a trouvé de la valeur dans l'expérience : « Chaque fois que je joue contre le bot, j'ai l'impression de découvrir quelque chose de nouveau à intégrer dans ma façon de jouer ». Dans le Wall Street Journal, la rédactrice scientifique Daniela Hernandez a qualifié Pluribus d'« avancé dans une compétence humaine essentielle : la tromperie ».
Signification dans la recherche en IA
Pluribus represent une étape dans la progression de l'IA en jeu, dans la lignée des réalisations précédentes des systèmes comme les bots d'OpenAI dans Dota 2 et le Google DeepMind's AlphaZero. Contrairement à ces systèmes, qui dominaient les jeux à deux joueurs, Pluribus s'est attaqué au défi des environnements multi-agents où l'approximation conventionnelle de l'équilibre échoue. L'approche utilisée par Pluribus, bien que sans garanties théoriques solides, a démontré que des stratégies empiriques réussies pouvaient être apprises par jeu auto- et adaptation en temps réel, et cela a influencé la recherche ultérieure en IA générative et dans d'autres systèmes interactifs.
Ce succès a aussi souligné les libellés importance des réseaux de neurones dans l'IA de jeu. Pluribus utilisait un réseau de neurones pour estimer la valeur des états du jeu et un évolution algorithmique pour affiner les décisions, une technique similaire à celles utilisées dans d'autres moteurs de jeu sur-humains. La capacité du bot à mélanger apprentissage hors ligne et en ligne a offert un modèle pour les systèmes d'IA intervenant dans des environnement multi-agents dynamiques, qui dépassent le cadre du jeu pour s'appliquer à des domaines tels que la finance et la négociation.
Contexte plus large et réception
Le développement de Pluribus faisait partie d'une vague plus large de recherches en IA à la fin des années 2010, lorsque les progrès de l'apprentissage profond et des réseaux de neurones ont permis des avancées en matière de raisonnement et de stratégie. Contrairement aux grands modèles de langage apparues plus tard, Pluribus se concentrait sur un domaine précis et bien défini, mais son succès a mis en évidence le potentiel de l'IA dans des environnements adversarial et interactifs. La capacité du bot à duper les joueurs humains, comme le notait Hernandez, soulignait la sophistication croissante de l'IA dans la modélisation du comportement humain et du bluff.
Le projet a été dirigé par des chercheurs chez Facebook AI et Carnegie Mellon, qui ont publié leurs résultats en 2019. Cette collaboration a illustré l'intersection croissante entre d'un côté la recherche universitaire et les efforts industriels en IA, à l'instar des partenariats via le Stanford AI Lab et de Berkeley AI Research.
Considérations éthiques et pratiques
Après la victoire, les développeurs ont refusé de publier le code source, par crainte d'une utilisation malveillante pour aider électroniquement des joueurs de poker en ligne. Cette décision reflétait préoccupations plus larges de la communauté de l'IA face aux technologies à double usage, dans lesquelles des capacités développées pour le recherche pouvaient être appliquées à des fins nocives. Cette action a posé un précédent pour la divulgation responsable dans la recherche en IA, en équilibrant l'ouverture scientifique et les risques sociétaux potentiels.
Ce cas a également contribué aux débats sur la sécurité de l'IA et au déploiement éthique des systèmes sur-humains. Bien que le poker soit une activité récréative, les techniques utilisées dans Pluribus ont des implications dans d'autres domaines de décision multi-joueurs, comme la négociation et les enchères, où des considérations stratégiques analogues s'appliquent. Au début des années 2020, aucune plate-forme de poker grand public n'a publiquement déployé une IA d'une capacité comparable, en partie à cause de la décision des développeurs de ne pas diffuser le code source.
Héritage et considérations éthiques
Pluribus reste une étape marquante dans l'histoire des systèmes d'IA de jeu, aux côtés de réalisations telles que l'ordinateur d'échecs d'IBM ou AlphaZero. Son succès au poker multi-joueurs a montré que l'IA pouvait exceller dans des environnements de plus de deux agents, où les équilibres sont plus difficilement définissables. La recherche ultérieure en IA a continué à tirer profit de ces idées, intégrant l'auto-apprentissage et l'apprentissage en temps réel dans des systèmes comme les véhicules autonomes et la robotique. Bien que le code source n'ait jamais été publié, les détails validés de l'architecture et de la stratégie de Pluribus ont éclipsé l'étude académique en apprentissage par renforcement multi-agents.
Références
- Faits issus de la source divulgué Wikipedia (CC BY-SA).