OpenAI Five é um programa de computador desenvolvido pela OpenAI que joga o videojuego Dota 2, de cinco contra cinco. Fue o primeiro sistema de inteligência artificial a derrotar os campeões mundiales vigentes em uma partida de esports profissional, conseguindo este feito em abril de 2019. O projeto tinha como objetivo avançar o aprendizado automático ao abordar um jogo com espaços de ação contínuos, observabilidade parcial e estratégia de longo prazo, criando assim sistemas de resolução de problemas mais generales.
O desenvolvimento do sistema começou em novembro de 2016, e sua primeira aparición pública foi no The International 2017, onde derrotou o jogador profissional Dendi em uma partida um contra um. Para 2018, podía jogar como uma equipe completa de cinco, e em 2019 ganó uma série melhor de três contra OG, os campeões do The International 2018. Os algoritmos de OpenAI Five foram posteriormente adaptados para outros projetos, incluindo uma mano robótica. Frequentemente é comparado com outros IAs que jogam jogos, como AlphaGo, Deep Blue e AlphaStar.
História
OpenAI começou a desenvolver os algoritmos para os bots de Dota 2 em novembro de 2016. A empresa escolheu Dota 2 porque era popular na plataforma de streaming Twitch, tinha suporte nativo para Linux e oferecia uma interface de programação de aplicações (API) para desenvolvedores. A primeira demonstração pública ocorreu no The International 2017 em agosto, onde o bot derrotou o jogador profissional ucraniano Dendi em uma partida ao vivo um contra um. Após a partida, o CTO da OpenAI, Greg Brockman, explicou que o bot tinha aprendido jogando contra si mesmo durante duas semanas de tempo real, usando aprendizado por reforço, um método onde o sistema melhora por tentativa e erro.
Para junho de 2018, os bots podían jogar juntos como uma equipe completa de cinco e derrotaron equipes amadoras e semiprofesionales. No The International 2018, OpenAI Five jogou duas partidas de exibición contra equipes profissionais - paiN Gaming e uma equipe de estrellas de ex-jugadores chineses - pero perdió ambas. A pesar das derrotas, OpenAI considerou o evento exitoso, já que proporcionó datos valiosos para refinar os algoritmos. A demonstração pública final foi em abril de 2019, quando OpenAI Five ganó uma série melhor de três contra OG, os campeões mundiales vigentes, em um evento ao vivo em San Francisco. Nesse mesmo mês, um evento online permitiu ao público jogar contra os bots; durante quatro dias, os bots jogaron 42.729 partidas e ganaron 99,4% delas.
Arquitectura
Cada bot de OpenAI Five era uma red neuronal com uma única capa conteniendo uma LSTM (Memoria de Curto Prazo) de 4096 unidades que procesaba o estado atual do jogo extraído da API de Dota 2. A red generaba ações através de múltiples cabezales de ação, cada um com um significado específico, como o atraso antes de uma ação, o tipo de ação e as coordenadas do objetivo. O sistema observaba o mundo como uma lista de 20.000 números e producía uma lista de oito valores para definir uma ação. Fue entrenado usando aprendizado por reforço na infraestructura "Rapid", que gestionaba milhares de máquinas. Para 2018, OpenAI Five tinha jogado aproximadamente 180 anos de tempo de jogo, usando 256 GPUs e 128.000 núcleos de CPU, com o algoritmo Optimización de Política Proximal.
Comparaciones con Otros Sistemas de IA de Juegos
OpenAI Five difería de IAs anteriores que jogaban juegos, como Deep Blue (xadrez), AlphaGo (Go) e Watson (Jeopardy!), em vários aspectos clave:
- Visión de longo prazo: As partidas de Dota 2 duran cerca de 45 minutos a 30 cuadros por segundo, resultando em aproximadamente 80.000 ticks por jogo. OpenAI Five observaba cada cuarto cuadro, generando 20.000 movimentos. Em contraste, o xadrez normalmente termina dentro de 40 movimentos, e o Go dentro de 150.
- Estado parcialmente observado: Dota 2 apresenta uma néboa de guerra que esconde unidades e movimentos inimigos, exigindo que os jogadores tomem decisões baseadas em informação incompleta. O xadrez e o Go são jogos de informação completa, sem elementos ocultos.
- Espacio de ação contínuo: Cada herói em Dota 2 pode realizar dezenas de ações dirigidas a unidades ou posições, com os desenvolvedores permitindo até 170.000 ações possíveis por herói. Em média, cerca de 1.000 ações válidas estão disponíveis em cada tick, comparado com 35 no xadrez e 250 no Go.
- Espacio de observación contínuo: O estado do jogo é representado por 20.000 números, enquanto um taboleiro de xadrez tem cerca de 70 valores e um taboleiro de Go cerca de 400.
Estas características fizeron de Dota 2 um desafío mais complexo para a IA, exigindo que o sistema manejara tomada de decisões em tempo real, planificação de longo prazo e trabalho em equipe.
Recepción
OpenAI Five recebiu amplo reconhecimento das comunidades de IA, tecnologia e jogos. O fundador da Microsoft, Bill Gates, chamou suas vitórias de "grande negocio" porque requerían trabalho em equipe e colaboración. O campeón de xadrez Garry Kasparov, que perdió contra Deep Blue em 1997, disse que a pesar das derrotas dos bots no The International 2018, eles "chegarían, e antes do esperado." Expertos em IA entrevistados por MIT Technology Review notaron que Dota 2 era um "jogo extremadamente complexo," fazendo até as vitórias contra jogadores não profissionais impressionantes. PC Gamer escreveu que as vitórias contra jogadores profissionais eram um hito significativo para a investigación em IA, destacando a capacidade do sistema para manejar ambientes complexos e dinámicos.