AlphaZero es un programa informático desarrollado por la empresa de investigación en inteligencia artificial DeepMind para dominar los juegos de mesa ajedrez, shogi y Go. A diferencia de los sistemas de juego anteriores, aprendió enteramente mediante el autoaprendizaje, sin más conocimiento humano que las reglas del juego. El programa utiliza una red neuronal combinada con la búsqueda de árbol de Monte Carlo, un enfoque demostrado por primera vez en su predecesor AlphaGo Zero. La empresa publicó un artículo preliminar que presentaba AlphaZero el 5 de diciembre de 2017, seguido de una publicación revisada por pares en la revista Science el 7 de diciembre de 2018.
El método de entrenamiento de AlphaZero no requería libros de aperturas, tablas de finales ni heurísticas creadas por humanos. En su lugar, generaba su propia experiencia jugando contra sí mismo millones de veces, guiado por un algoritmo de aprendizaje por refuerzo. Este enfoque le permitió alcanzar un rendimiento sobrehumano en los tres juegos en cuestión de horas, a pesar de buscar muchas menos posiciones por segundo que los motores tradicionales. DeepMind describió el estilo de juego resultante como inusual, con algunas jugadas que parecían contraintuitivas para los observadores humanos.
Método de entrenamiento
El proceso de entrenamiento utilizó 5,000 unidades de procesamiento tensorial (TPU) de primera generación para generar partidas de autoaprendizaje y 64 TPU de segunda generación para actualizar los pesos de la red neuronal, todo ello en paralelo. El sistema en entrenamiento se enfrentaba periódicamente a un programa de referencia en partidas cortas de exhibición para medir su progreso. Contra el motor de ajedrez Stockfish, AlphaZero superó el rendimiento de referencia tras unas cuatro horas de entrenamiento; contra el motor de shogi Elmo, tardó aproximadamente dos horas; y contra la versión de tres días de AlphaGo Zero, unas ocho horas.
La red neuronal se actualizaba continuamente durante el entrenamiento. A diferencia de su predecesor sistema, AlphaZero no utilizaba simetrías del juego para aumentar sus datos de entrenamiento, e incorporaba la posibilidad de tablas, que están ausentes en Go pero presentes en ajedrez y shogi. El algoritmo generaliza el enfoque anterior de AlphaGo Zero para manejar estos empates adicionales.
Resultados de las partidas
En ajedrez, tras nueve horas de entrenamiento, AlphaZero jugó una partida de 100 enfrentamientos contra Stockfish 8 (el campeón mundial de la TCEC de 2016), con un minuto por movimiento para cada bando. Stockfish usaba 64 hilos y un tamaño de hash de 1 GB, mientras que AlphaZero se ejecutaba en una sola máquina con cuatro TPU. El resultado fue 28 victorias, 0 derrotas y 72 tablas. En una serie de doce partidas de 100 enfrentamientos que comenzaban con aperturas humanas populares, AlphaZero ganó 290, empató 886 y perdió 24.
En shogi, tras dos horas de entrenamiento, AlphaZero derrotó al motor Elmo (versión del Campeonato Mundial de Shogi 27 de verano de 2017 con YaneuraOu 4.73) en 100 partidas, ganando 90, perdiendo 8 y empatando 2. En Go, tras 34 horas de autoaprendizaje, AlphaZero jugó contra la versión de tres días de AlphaGo Zero, ganando 60 partidas y perdiendo 40.
El número de posiciones evaluadas era drásticamente diferente. AlphaZero buscaba aproximadamente 80 posiciones por segundo en ajedrez y 40,000 en shogi, en comparación con los 70 millones de Stockfish y los 35 millones de Elmo. Compensaba esta diferencia con el enfoque selectivo de su red neuronal profunda en variantes prometedoras.
Evaluación del rendimiento
Los investigadores de DeepMind afirmaron que los algoritmos demostraron que un enfoque genérico de aprendizaje por refuerzo podía alcanzar niveles sobrehumanos en múltiples juegos de mesa sin conocimiento del dominio más allá de las reglas. Señalaron que los motores de ajedrez de última generación solían buscar millones de posiciones utilizando experiencia artesanal, mientras que AlphaZero buscaba miles de posiciones en cuestión de horas. Demis Hassabis, de DeepMind, él mismo aficionado al ajedrez, describió el estilo de AlphaZero como alienígena, haciendo referencia a sacrificios contraintuitivos como ofrecer una dama y un alfil a cambio de ventajas posicionales.
Sin embargo, algunos expertos expresaron cautela. El gran maestro Hikaru Nakamura y el desarrollador de Komodo, Larry Kaufman, sugirieron que los resultados podrían haber sido más disputados si Stockfish hubiera utilizado una base de datos de aperturas, ya que el motor estaba optimizado para ese escenario. El desarrollador de Stockfish, Dario Romstad, señaló que no estaba optimizado para un tiempo fijo por movimiento, y que la versión utilizada ya estaba desactualizada en el momento de la partida. De manera similar, algunos observadores de shogi pensaron que el tamaño de hash de Elmo era demasiado pequeño y que los ajustes de abandono o entrada podrían haber sido inapropiados.
Legado
DeepMind nunca publicó el código completo de AlphaZero. Sin embargo, la descripción algorítmica en el artículo de Science permitió al público reproducir sistemas similares. En 2019, DeepMind publicó una generalización más potente llamada MuZero, que logró un buen rendimiento en juegos de Atari y juegos de mesa sin que se le enseñaran las reglas ni una representación del juego, demostrando que la idea central no se limita a juegos con reglas definidas por humanos.
Los observadores compararon el debut de AlphaZero con hitos históricos en el desarrollo de programas de ajedrez. En 1997, Deep Blue se convirtió en la primera computadora en vencer al campeón mundial Garry Kasparov en una partida. AlphaZero representó una frontera diferente: en lugar de utilizar heurísticas especializadas y búsquedas intensivas centradas en millones de posiciones, aprendió por sí mismo mediante aprendizaje automático, donde las redes neuronales entrenadas mediante autoaprendizaje superaron el rendimiento de los sistemas diseñados por humanos.