Libratus ist ein Programm für künstliche Intelligenz, das entwickelt wurde, um Poker zu spielen, insbesondere Heads-up No-Limit Texas Hold'em. Es wurde an der Carnegie Mellon University in Pittsburgh entwickelt, wobei seine Entwickler beabsichtigten, dass es auf andere, nicht pokerspezifische Anwendungen übertragbar sein sollte. Der Name Libratus ist ein lateinischer Ausdruck, der „ausgeglichen“ bedeutet, und es war der nominelle Nachfolger eines früheren Poker-Bots namens Claudico.
Hintergrund und Entwicklung
Libratus wurde von Grund auf neu gebaut, baute aber auf dem Erbe von Claudico auf. Seine Entwicklung erforderte mehr als 15 Millionen Kernstunden Rechenzeit, verglichen mit 2 bis 3 Millionen für Claudico, und wurde auf dem Supercomputer „Bridges“ am Pittsburgh Supercomputing Center durchgeführt. Laut Professor Tuomas Sandholm, einem der Entwickler von Libratus, verfügt der Bot nicht über eine feste, eingebaute Strategie; stattdessen verwendet er einen Algorithmus, der die Strategie im laufenden Betrieb berechnet. Die Kernmethode war eine neue Variante der Counterfactual Regret Minimization, nämlich die CFR+-Methode, die 2014 von Oskari Tammelin eingeführt wurde. Zusätzlich zu CFR+ nutzte Libratus eine neuartige Technik zur Lösung von Endspielen, die von Sandholm und seinem Doktoranden Noam Brown entwickelt wurde. Diese Methode machte die bisherige Standardtechnik des „Action Mappings“ in der Pokerprogrammierung überflüssig.
Parallel zur Entwicklung von Libratus entwickelte ein internationales Team der Karls-Universität, der Tschechischen Technischen Universität und der University of Alberta DeepStack, das im Dezember 2016 als erstes Computerprogramm professionelle Pokerspieler im Heads-up No-Limit Texas Hold'em besiegte. Obwohl beide Systeme auf Counterfactual Regret Minimization basierten, unterschieden sie sich in ihrem Ansatz: DeepStack verwendete neuronale Netze zur Bewertung von Spielzuständen, während Libratus keine neuronalen Netze für die Blattbewertung einsetzte.
Spiel 2017: Menschen gegen KI
Vom 11. bis 31. Januar 2017 trat Libratus in einem Turnier namens „Brains vs. Artificial Intelligence: Upping the Ante Challenge“ gegen vier erstklassige menschliche Pokerspieler an: Jason Les, Dong Kim, Daniel McAulay und Jimmy Chou. Das Turnier umfasste 120.000 Hände, was einer Steigerung von 50 % gegenüber dem vorherigen Turnier entspricht, an dem Claudico 2015 teilgenommen hatte; die Dauer wurde entsprechend von 13 auf 20 Tage verlängert, um das zusätzliche Volumen zu bewältigen.
Die vier Spieler wurden in zwei Unterteams aufgeteilt. Ein Unterteam spielte offen, während das andere in einem separaten Raum untergebracht war, der als „The Dungeon“ bezeichnet wurde und in dem Mobiltelefone und andere externe Kommunikationsmittel verboten waren. Das Dungeon-Team erhielt dieselbe Kartenfolge wie das offene Team, jedoch mit vertauschten Rollen: Die Dungeon-Spieler erhielten die Karten, die die KI im offenen Spiel hatte, und umgekehrt. Dieses Setup sollte den Einfluss des Kartenglücks neutralisieren.
Das Preisgeld von 200.000 US-Dollar wurde ausschließlich unter den menschlichen Spielern aufgeteilt. Jeder Spieler erhielt eine Mindestgarantie von 20.000 US-Dollar; der Rest wurde basierend auf seiner Leistung gegen die KI verteilt. Wie in den Turnierregeln im Voraus festgelegt, erhielt die KI selbst kein Preisgeld, obwohl sie das Turnier gewann.
Stärke der KI
Libratus führte vom ersten Tag des Turniers an gegen die menschlichen Spieler. Der Spieler Dong Kim wurde mit den Worten über die Stärke der KI zitiert: „Ich habe nicht erkannt, wie gut sie ist, bis heute. Ich hatte das Gefühl, gegen jemanden zu spielen, der betrügt, als ob er meine Karten sehen könnte. Ich beschuldige sie nicht des Betrugs. Sie war einfach so gut.“
Am 16. Tag des Wettbewerbs durchbrach Libratus erstmals die 1.000.000-Dollar-Marke. Am Ende des Tages lag sie mit 1.194.402 Dollar an Chips gegen das menschliche Team in Führung. Am Ende des Turniers hatte Libratus einen Vorsprung von 1.766.250 Dollar an Chips und gewann damit überzeugend. Da der Big Blind im Spiel 100 Dollar betrug, entspricht die Gewinnrate von Libratus 14,7 Big Blinds pro 100 Hände, was im Poker als außergewöhnlich hohe Gewinnrate gilt und statistisch hochsignifikant ist.
Zum Vergleich: DeepStack erreichte in seiner Studie gegen 11 Profispieler über 44.000 Hände eine Gewinnrate von 49 Big Blinds pro 100 Hände. Ein direkter Vergleich ist jedoch schwierig, da sich die Testbedingungen unterschieden (Anzahl der Hände, Fähigkeitsniveau der Gegner und Turnierformat).
Von den menschlichen Spielern belegte Dong Kim den ersten Platz, gefolgt von Daniel McAulay auf Platz zwei, Jimmy Chou auf Platz drei und Jason Les auf Platz vier.
Weiterführende Anwendungen
Obwohl die erste Anwendung von Libratus das Pokerspiel war, hatten seine Entwickler eine viel breitere Mission für die KI im Sinn. Sie entwarfen die KI so, dass sie in der Lage sein sollte, jedes Spiel oder jede Situation zu erlernen, in der unvollständige Informationen vorliegen und „Gegner“ möglicherweise Informationen verbergen oder sogar täuschen. Aus diesem Grund schlagen Sandholm und seine Kollegen vor, das System auf andere reale Probleme anzuwenden, darunter Cybersicherheit, Geschäftsverhandlungen oder medizinische Planung.
Siehe auch
- DeepStack
- Computerpokerspieler
- Cepheus (Poker-Bot)
- Claudico
- Polaris (Poker-Bot)
- Pluribus (Poker-Bot)
Referenzen
Externe Links
- Offizielle Website des Turniers „Brains versus Artificial Intelligence“ im Rivers Casino (archiviert am 3. Februar 2016)