DeepStack es un programa informático de inteligencia artificial diseñado para jugar al póker de dos jugadores, específicamente Texas hold 'em sin límite heads-up. Es el primer programa informático en superar a profesionales humanos en este juego. El programa fue desarrollado por un equipo internacional de la Universidad Carolina, la Universidad Técnica Checa y la Universidad de Alberta.
Antecedentes
El póker es un juego de referencia clave en la comunidad académica, y se ha realizado una investigación sustancial para encontrar estrategias óptimas contra adversarios en el peor de los casos. Mientras que los profesionales humanos han sido superados en juegos de información perfecta a gran escala, como el ajedrez, décadas antes, los juegos de información imperfecta requieren un razonamiento recursivo mucho más complejo. Los enfoques populares anteriores se basaban principalmente en la simplificación del juego mediante el uso de abstracciones. Sin embargo, las abstracciones en juegos de información imperfecta a menudo resultan en estrategias altamente explotables. En cambio, DeepStack utiliza varias innovaciones algorítmicas, como el uso de redes neuronales y la resolución continua.
Algoritmo
En el núcleo del programa se encuentra el uso de redes neuronales para determinar el valor de combinaciones específicas de cartas. Las redes se entrenan solo en un pequeño número de estados del juego y se utilizan para generalizar a situaciones no vistas durante el entrenamiento. El programa utiliza búsqueda con redes neuronales y resolución continua para garantizar que la estrategia encontrada en cada paso sea consistente con la estrategia utilizada en pasos anteriores. El procedimiento de búsqueda utiliza la minimización de arrepentimiento contrafactual para actualizar iterativamente la estrategia en su árbol de mirar hacia adelante, y las redes neuronales se utilizan para la evaluación de hojas. La evaluación de hojas evita razonar sobre el resto completo del juego al sustituir el cálculo más allá de cierta profundidad con una estimación aproximada rápida.
Torneo de 2016 con Jugadores Profesionales
En un estudio completado en diciembre de 2016, DeepStack derrotó a 11 jugadores de póker profesionales jugando 44,000 manos de póker. En todos los juegos jugados, DeepStack ganó 49 big blinds por cada 100 manos (siempre retirarse solo perdería 75 big blinds por cada 100), más de cuatro desviaciones estándar de cero, lo que lo convierte en el primer programa informático en vencer a jugadores de póker profesionales en Texas hold 'em sin límite heads-up. Este resultado fue un hito significativo en la investigación de inteligencia artificial, demostrando que la IA podía manejar las complejidades de los juegos de información imperfecta.
Enfoques Competidores
Concurrentemente con DeepStack, se publicó un enfoque competidor del grupo de investigación de Universidad Carnegie Mellon, llamado Libratus. Del 11 al 31 de enero de 2017, Libratus se enfrentó en un torneo contra cuatro jugadores de póker humanos de primer nivel. El algoritmo también se publicó en Science. Libratus no utiliza redes neuronales para la evaluación de hojas. Los expertos argumentan que el uso de aprendizaje con redes neuronales (como hace DeepStack) es más general, y de hecho se ha utilizado en trabajos posteriores que generalizan a otros juegos con información imperfecta. Esta distinción resalta la aplicabilidad más amplia del enfoque de DeepStack dentro del campo del aprendizaje automático.
Recepción por la Comunidad del Póker
Dara O'Kearney, un profesional de póker irlandés que completó 456 manos, afirmó que DeepStack jugaba con un estilo similar al utilizado por algunos jugadores humanos, basado en la teoría de juegos. El éxito del programa se vio como una validación del potencial de las técnicas de aprendizaje profundo en la toma de decisiones estratégicas, y despertó un mayor interés en aplicar métodos similares a otros dominios.
Véase también
- Jugadores de póker por computadora
- Cepheus (bot de póker)
- Libratus
- Pluribus (bot de póker)