DeepStack ist ein Computerprogramm für künstliche Intelligenz, das entwickelt wurde, um Zwei-Spieler-Poker zu spielen, insbesondere Heads-up No-Limit Texas Hold'em. Es ist das erste Computerprogramm, das menschliche Profispieler in diesem Spiel besiegt. Das Programm wurde von einem internationalen Team der Karls-Universität, der Tschechischen Technischen Universität und der University of Alberta entwickelt.
Hintergrund
Poker ist ein zentrales Benchmark-Spiel in der akademischen Gemeinschaft, und es wurde umfangreiche Forschung betrieben, um optimale Strategien gegen Worst-Case-Gegner zu finden. Während menschliche Profispieler bereits Jahrzehnte zuvor in großen Spielen mit vollständiger Information, wie Schach, besiegt wurden, erfordern Spiele mit unvollständiger Information eine viel komplexere rekursive Argumentation. Frühere gängige Ansätze beruhten hauptsächlich auf der Vereinfachung des Spiels durch Abstraktionen. Abstraktionen in Spielen mit unvollständiger Information führen jedoch oft zu leicht ausbeutbaren Strategien. Stattdessen verwendet DeepStack mehrere algorithmische Innovationen, wie die Nutzung von neuronalen Netzen und kontinuierliches Resolving.
Algorithmus
Im Kern des Programms steht die Verwendung neuronaler Netze zur Bestimmung des Werts bestimmter Kartenkombinationen. Die Netze werden nur auf einer kleinen Anzahl von Spielzuständen trainiert und verwendet, um auf Situationen zu verallgemeinern, die während des Trainings nicht gesehen wurden. Das Programm verwendet Suche mit den neuronalen Netzen und kontinuierlichem Resolving, um sicherzustellen, dass die in jedem Schritt gefundene Strategie mit der in früheren Schritten verwendeten Strategie konsistent ist. Das Suchverfahren verwendet Counterfactual Regret Minimization, um die Strategie in seinem Lookahead-Baum iterativ zu aktualisieren, und die neuronalen Netze werden für die Blattbewertung verwendet. Die Blattbewertung vermeidet die Argumentation über den gesamten Rest des Spiels, indem sie die Berechnung jenseits einer bestimmten Tiefe durch eine schnelle approximative Schätzung ersetzt.
Turnier 2016 mit Profispielern
In einer im Dezember 2016 abgeschlossenen Studie besiegte DeepStack 11 professionelle Pokerspieler, indem es 44.000 Hände Poker spielte. Über alle gespielten Spiele hinweg gewann DeepStack 49 Big Blinds pro 100 Hände (ständiges Folden würde nur 75 Big Blinds pro 100 verlieren), über vier Standardabweichungen von Null, was es zum ersten Computerprogramm machte, das professionelle Pokerspieler in Heads-up No-Limit Texas Hold'em Poker besiegte. Dieses Ergebnis war ein bedeutender Meilenstein in der Forschung zu künstlicher Intelligenz und zeigte, dass KI die Komplexität von Spielen mit unvollständiger Information bewältigen kann.
Konkurrierende Ansätze
Parallel zu DeepStack wurde ein konkurrierender Ansatz der Forschungsgruppe der Carnegie Mellon University veröffentlicht, genannt Libratus. Vom 11. bis 31. Januar 2017 wurde Libratus in einem Turnier gegen vier erstklassige menschliche Pokerspieler angetreten. Der Algorithmus wurde ebenfalls in Science veröffentlicht. Libratus verwendet keine neuronalen Netze für die Blattbewertung. Experten argumentieren, dass das Lernen mit neuronalen Netzen (wie von DeepStack durchgeführt) allgemeiner ist, und es wurde tatsächlich in nachfolgenden Arbeiten verwendet, die auf andere Spiele mit unvollständiger Information verallgemeinern. Diese Unterscheidung hebt die breitere Anwendbarkeit des DeepStack-Ansatzes im Bereich des maschinellen Lernens hervor.
Resonanz in der Poker-Community
Dara O'Kearney, ein irischer Pokerprofi, der 456 Hände absolvierte, behauptete, dass DeepStack in einem Stil spielte, der dem einiger menschlicher Spieler ähnelt, basierend auf Spieltheorie. Der Erfolg des Programms wurde als Bestätigung des Potenzials von Deep-Learning-Techniken in strategischer Entscheidungsfindung gesehen und weckte weiteres Interesse an der Anwendung ähnlicher Methoden auf andere Bereiche.
Siehe auch
- Computer-Pokerspieler
- Cepheus (Poker-Bot)
- Libratus
- Pluribus (Poker-Bot)