AlphaZero é um sistema de aprendizado por reforço desenvolvido pela DeepMind que aprendeu a jogar xadrez, shogi e Go em níveis sobre-humanos usando um único algoritmo de propósito geral e sem dados de jogo gerados por humanos. A DeepMind anunciou o AlphaZero em um artigo publicado em dezembro de 2017, descrevendo um sistema que, partindo apenas das regras de cada jogo, aprendia inteiramente por meio de auto-jogo, usando uma rede neural profunda combinada com busca em árvore de Monte Carlo para avaliar posições e selecionar movimentos, e então melhorando essa rede com base nos resultados dos jogos disputados contra si mesma.
Relação com o AlphaGo
O AlphaZero generalizou a abordagem de auto-jogo demonstrada pela primeira vez pelo AlphaGo Zero, a versão do AlphaGo que havia aprendido Go puramente por auto-jogo, sem dados de jogos humanos, para outros jogos. Enquanto o AlphaGo e o AlphaGo Zero eram especializados apenas em Go, o AlphaZero usou a mesma arquitetura subjacente e o mesmo procedimento de treinamento, sem ajustes específicos para cada jogo além das próprias regras, para alcançar desempenho sobre-humano também em xadrez e shogi, demonstrando que a abordagem de aprendizado por reforço via auto-jogo não era um truque específico do Go, mas um método genuinamente geral para dominar jogos de informação perfeita.
Resultado no xadrez
O resultado do AlphaZero no xadrez atraiu atenção particular tanto nas comunidades de IA quanto de xadrez, porque o xadrez tinha uma história muito mais longa de desenvolvimento de motores de computador do que o Go, dominada por duas décadas por motores tradicionais que usavam busca de força bruta profunda e ajustada manualmente, sendo o mais famoso deles o Stockfish. Após apenas quatro horas de treinamento por auto-jogo, sem usar livros de abertura, tabelas de finais ou qualquer outro conhecimento humano específico do xadrez além das regras básicas, o AlphaZero derrotou o Stockfish em uma partida de 100 jogos. Comentaristas, incluindo grandes mestres que revisaram os jogos, notaram que o estilo de jogo de xadrez do AlphaZero exibia uma característica distinta, favorecendo a mobilidade das peças a longo prazo e a segurança do rei em vez das heurísticas de contagem de material embutidas nos motores tradicionais, e frequentemente fazia sacrifícios que produziam vantagens posicionais duradouras em vez de ganho material imediato, um estilo que alguns descreveram como mais intuitivo ou esteticamente marcante do que o de motores anteriores.
Significância
A demonstração do AlphaZero de que um único algoritmo de aprendizado por reforço via auto-jogo poderia dominar múltiplos jogos distintos de informação perfeita sem engenharia específica de domínio foi vista como um passo importante em direção a sistemas de aprendizado mais gerais, embora o AlphaZero permanecesse limitado a jogos totalmente observáveis, determinísticos e de dois jogadores, e não se estendesse ao tipo de tarefas abertas e do mundo real associadas à inteligência artificial geral. Sua arquitetura e metodologia de treinamento por auto-jogo influenciaram pesquisas subsequentes da DeepMind, incluindo o MuZero, um sistema sucessor que aprendeu a jogar jogos, inclusive aqueles com regras desconhecidas, aprendendo um modelo de mundo interno do ambiente em vez de receber as regras diretamente. Os jogos de xadrez do AlphaZero foram posteriormente estudados extensivamente por jogadores profissionais de xadrez e desenvolvedores de motores, e algumas de suas tendências estilísticas influenciaram o design e a avaliação de motores de xadrez posteriores, incluindo motores de código aberto baseados em redes neurais que adotaram métodos semelhantes de treinamento por auto-jogo.
Recepção
O AlphaZero é amplamente citado na pesquisa de IA como uma demonstração marcante do poder do aprendizado por reforço via auto-jogo combinado com redes neurais profundas e busca, estendendo a significância dos resultados anteriores do AlphaGo, incluindo sua vitória de 2016 sobre Lee Sedol, e reforçando a narrativa de pesquisa mais ampla da DeepMind de que algoritmos de aprendizado gerais, dado poder computacional suficiente, poderiam igualar ou superar décadas de conhecimento humano acumulado e de engenharia manual em domínios bem definidos.