Libratus es un programa de inteligencia artificial diseñado para jugar al póker, específicamente al Texas hold'em sin límite de dos jugadores. Fue desarrollado en la Universidad Carnegie Mellon en Pittsburgh, con la intención de sus creadores de que fuera generalizable a otras aplicaciones no relacionadas con el póker. El nombre Libratus es una expresión latina que significa 'equilibrado', y fue el sucesor nominal de un bot de póker anterior, Claudico.
Antecedentes y desarrollo
Libratus fue construido desde cero, pero se basó en el legado de Claudico. Su desarrollo requirió más de 15 millones de horas de núcleo de computación, en comparación con las 2-3 millones de Claudico, y se llevó a cabo en el superordenador 'Bridges' del Centro de Supercomputación de Pittsburgh. Según el profesor Tuomas Sandholm, uno de los creadores de Libratus, el bot no tiene una estrategia fija incorporada; en su lugar, utiliza un algoritmo que calcula la estrategia sobre la marcha. La técnica central fue una nueva variante de minimización de arrepentimiento contrafactual, concretamente el método CFR+ introducido en 2014 por Oskari Tammelin. Sobre la base de CFR+, Libratus utilizó una técnica novedosa para la resolución de finales de partida, desarrollada por Sandholm y su estudiante de doctorado Noam Brown. Este método eliminó la necesidad del 'mapeo de acciones', que había sido el estándar de facto previo en la programación de póker.
De manera simultánea al desarrollo de Libratus, un equipo internacional de la Universidad Carolina, la Universidad Técnica Checa y la Universidad de Alberta desarrolló DeepStack, que en diciembre de 2016 se convirtió en el primer programa informático en derrotar a jugadores profesionales de póker en Texas hold'em sin límite de dos jugadores. Aunque ambos sistemas utilizaban minimización de arrepentimiento contrafactual, diferían en sus enfoques: DeepStack empleaba redes neuronales para evaluar los estados del juego, mientras que Libratus no utilizaba redes neuronales para la evaluación de hojas.
Partido de 2017 entre humanos y IA
Del 11 al 31 de enero de 2017, Libratus compitió en un torneo llamado 'Brains vs. Artificial Intelligence: Upping the Ante challenge' contra cuatro jugadores humanos de póker de élite: Jason Les, Dong Kim, Daniel McAulay y Jimmy Chou. El torneo implicó 120,000 manos, un aumento del 50% en comparación con el torneo anterior en el que jugó Claudico en 2015, y la duración se extendió de 13 a 20 días para gestionar el volumen adicional.
Los cuatro jugadores se agruparon en dos subequipos. Un subequipo jugó a la vista, mientras que el otro subequipo se ubicó en una sala separada apodada 'La Mazmorra', donde no se permitían teléfonos móviles ni otras comunicaciones externas. El subequipo de la Mazmorra recibió la misma secuencia de cartas que el subequipo a la vista, pero con los lados intercambiados: los humanos de la Mazmorra recibieron las cartas que la IA recibió a la vista y viceversa. Esta configuración tenía la intención de anular el efecto de la suerte de las cartas.
El premio en metálico de $200,000 se compartió exclusivamente entre los jugadores humanos. Cada jugador recibió un mínimo de $20,000, y el resto se distribuyó según su rendimiento contra la IA. Como se estipuló en las reglas del torneo de antemano, la IA en sí no recibió premio en metálico a pesar de ganar el torneo.
Durante el torneo, Libratus compitió contra los jugadores durante el día, y durante la noche perfeccionaba su estrategia analizando el juego del día anterior, en particular sus derrotas. Esto le permitió corregir continuamente las imperfecciones que el equipo humano descubría, lo que resultó en una carrera armamentista permanente entre los humanos y Libratus. El análisis nocturno utilizó otros 4 millones de horas de núcleo en el superordenador Bridges.
Había un mercado de apuestas activo entre los jugadores de póker sobre quién ganaría el torneo. Comenzó con probabilidades de 4:1 en contra del bot, pero al octavo día se convirtió en un mercado de apuestas sobre qué humano perdería menos.
Fuerza de la IA
Libratus lideró contra los jugadores humanos desde el primer día del torneo. El jugador Dong Kim fue citado sobre la fuerza de la IA de la siguiente manera: "No me di cuenta de lo buena que era hasta hoy. Sentí que estaba jugando contra alguien que hacía trampa, como si pudiera ver mis cartas. No la acuso de hacer trampa. Era simplemente así de buena."
Al decimosexto día de la competición, Libratus superó la barrera del $1,000,000 por primera vez. Al final de ese día, iba por delante con $1,194,402 en fichas contra el equipo humano. Al final de la competición, Libratus iba por delante con $1,766,250 en fichas y, por tanto, ganó de manera contundente. Como la ciega grande en las partidas se fijó en $100, la tasa de victorias de Libratus equivale a 14.7 ciegas grandes por cada 100 manos, lo que se considera una tasa de victorias excepcionalmente alta en el póker y es altamente significativa desde el punto de vista estadístico.
Para comparar, DeepStack logró una tasa de victorias de 49 ciegas grandes por cada 100 manos en su estudio contra 11 profesionales en 44,000 manos, aunque las diferentes condiciones de prueba (número de manos, niveles de habilidad de los oponentes y formato del torneo) dificultan las comparaciones directas.
De los jugadores humanos, Dong Kim quedó primero, MacAulay segundo, Jimmy Chou tercero y Jason Les cuarto.
El bot tiene un estilo de apuestas poco convencional en el que, en situaciones específicas, apostaba $20,000 incluso cuando había $100 en el bote. Tras su victoria, esta estrategia fue analizada y adoptada por la comunidad del póker.
Otras posibles aplicaciones
Aunque la primera aplicación de Libratus fue jugar al póker, sus diseñadores tenían una misión mucho más amplia en mente para la IA. Los investigadores diseñaron la IA para que pudiera aprender cualquier juego o situación en la que haya información incompleta disponible y los "oponentes" puedan ocultar información o incluso recurrir al engaño. Debido a esto, Sandholm y sus colegas proponen aplicar el sistema a otros problemas del mundo real, como la ciberseguridad, las negociaciones comerciales o la planificación médica.
Véase también
- DeepStack
- Jugadores de póker por computadora
- Cepheus (bot de póker)
- Claudico
- Polaris (bot de póker)
- Pluribus (bot de póker)
Referencias
Enlaces externos
- Brains versus Artificial Intelligence Archivado el 2016-02-03 en la Wayback Machine sitio web oficial en el Rivers Casino