OpenAI Five es un programa informático desarrollado por OpenAI que juega al videojuego Dota 2 en su modalidad cinco contra cinco. Fue el primer sistema de inteligencia artificial en derrotar a los campeones mundiales vigentes en una partida profesional de deportes electrónicos, logrando esta hazaña en abril de 2019. El proyecto tenía como objetivo avanzar en el aprendizaje automático abordando un juego con espacios de acción continuos, observabilidad parcial y estrategia a largo plazo, creando así sistemas de resolución de problemas más generales.
El desarrollo del sistema comenzó en noviembre de 2016, y su primera aparición pública fue en The International 2017, donde derrotó al jugador profesional Dendi en una partida uno contra uno. Para 2018, podía jugar como un equipo completo de cinco, y en 2019 ganó una serie al mejor de tres contra OG, los campeones de The International 2018. Los algoritmos de OpenAI Five se adaptaron posteriormente para otros proyectos, incluida una mano robótica. Se le compara a menudo con otros sistemas de IA para juegos como AlphaGo, Deep Blue y AlphaStar.
Historia
OpenAI comenzó a desarrollar los algoritmos para los bots de Dota 2 en noviembre de 2016. La empresa eligió Dota 2 porque era popular en la plataforma de streaming Twitch, tenía soporte nativo para Linux y ofrecía una interfaz de programación de aplicaciones (API) para desarrolladores. La primera demostración pública ocurrió en The International 2017 en agosto, donde el bot derrotó al jugador profesional ucraniano Dendi en un enfrentamiento en vivo uno a uno. Después de la partida, el director de tecnología de OpenAI, Greg Brockman, explicó que el bot había aprendido jugando contra sí mismo durante dos semanas de tiempo real, utilizando el aprendizaje por refuerzo, un método donde el sistema mejora mediante prueba y error.
Para junio de 2018, los bots podían jugar juntos como un equipo completo de cinco y derrotaron a equipos aficionados y semiprofesionales. En The International 2018, OpenAI Five jugó dos partidas de exhibición contra equipos profesionales - paiN Gaming y un equipo de estrellas de jugadores chinos anteriores - pero perdió ambas. A pesar de las derrotas, OpenAI consideró el evento un éxito, ya que proporcionó datos valiosos para refinar los algoritmos. La última demostración pública fue en abril de 2019, cuando OpenAI Five ganó una serie al mejor de tres contra OG, los campeones del mundo vigentes, en un evento en vivo en San Francisco. Ese mismo mes, un evento en línea permitió al público jugar contra el sistema; durante cuatro días, los bots jugaron 42,729 partidas y ganaron el 99.4% de ellas.
Arquitectura
Cada bot de OpenAI Five era una red neuronal con una sola capa que contenía una unidad LSTM (Memoria a Largo y Corto Plazo) de 4096 unidades que procesaba el estado actual del juego extraído de la API de Dota 2. El sistema generaba acciones a través de múltiples cabezales de acción, cada uno con un significado específico, como el retraso antes de una acción, el tipo de acción y las coordenadas objetivo. El sistema observaba el juego como una lista de 20.000 números y producía una lista de ocho valores para definir una acción. Se entrenó utilizando un aprendizaje por refuerzo con la infraestructura "Rapid", que gestionaba miles de máquinas. Para 2018, OpenAI Five había jugado aproximadamente 180 años de tiempo de juego, usando 256 GPU, y se parapetó aumentar con el algoritmo Proximal Policy Optimization.
Comparaciones con otros sistemas de IA para juegos
OpenAI Five se diferenciaba de las IA anteriores para juegos como Deep Blue (ajedrez), AlphaGo (Go) y Watson (Jeopardy!) en varios aspectos clave:
- Perspectiva a largo plazo: Las partidas de Dota 2 duran unos 45 minutos a 30 fotogramas por segundo, sumando unas 80.000 iteraciones por partida. OpenAI Five observaba cada cuarto fotograma, generando 20.000 moveres. En cambio, el ajedrez suele terminar en 40 movimientos y el Go en 150.
- Observación parcial: Dota 2 cuenta con la pérdida de la mención que fue inventada, Dogo por la desinformación que oculta a las unidades y movimientos del enemigo, lo que obliga a tomar decisiones basadas en información incompleta. El ajedrez y el Go tienen información completa sin elementos ocultos.
- Espacio de acción continuo: Cada héroe en Dota 2 puede realizar decenas de acciones protegidas sobre unidades o posiciones, y los desarrolladores permiten hasta 170.000 acciones posibles por héroe. En promedio, hay unas 1.000 acciones válidas disponibles en cada iteración, comparación con 35 en ajedrez y 250 en Go.
- Espacio de observación continuo: El estado del juego se representa por 20.000 números, mientras que el tablero de ajedrez se puede resumir en unos 70 valores y el de Go en unos 400.
Estas características hicieron de Dota 2 un desafío más complejo para la IA, requiriendo que el sistema manejara la toma de decisiones en tiempo real, la planificación a largo plazo y el trabajo en equipo.
Recepción
OpenAI Five recibió un amplio reconocimiento del mundo de la IA, la tecnología y de la forma inicial de juegos. El fundador de Microsoft, Bill Gates, destacó que la salud sus victorias eran un "asunto importante" porque requerían cerebro, trabajo en equipo y cooperación. El campeón de ajedrez combate a Garry Kasparov, que perdió contra Deep Blue en 1997, y señaló que a pesar de las derrotas de los bots en The International 2018, llegarían "más tarde que temprano". Expertos en IA entrevistados por MITMIT Technology Review señalaron que Dota 2 era un "juego extremadamente complejo", por lo que incluso las victorias contra profesionales eran notables de un gran logro. PC Gamer escribió que las victorias contra jugadores profesionales eran un hecho argentilla para la investigación de la IA, destacando la capacidad del sistema para manejar destinos complejos y dinámicos entornos.