AlphaZero es un sistema de aprendizaje por refuerzo desarrollado por DeepMind que aprendió a jugar ajedrez, shogi y Go a niveles sobrehumanos utilizando un único algoritmo de propósito general y sin datos de juego generados por humanos. DeepMind anunció AlphaZero en un artículo publicado en diciembre de 2017, describiendo un sistema que, partiendo solo de las reglas de cada juego, aprendía enteramente mediante autojuego, usando una red neuronal profunda combinada con búsqueda de árbol de Monte Carlo para evaluar posiciones y seleccionar movimientos, y luego mejorando esa red a través de los resultados de partidas jugadas contra sí mismo.
Relación con AlphaGo
AlphaZero generalizó el enfoque de autojuego demostrado por primera vez por AlphaGo Zero, la versión de AlphaGo que había aprendido Go puramente mediante autojuego sin datos de juego humanos, a juegos adicionales. Mientras que AlphaGo y AlphaGo Zero estaban especializados solo en Go, AlphaZero usó la misma arquitectura subyacente y procedimiento de entrenamiento, sin ajustes específicos del juego más allá de las reglas mismas, para alcanzar un rendimiento sobrehumano también en ajedrez y shogi, demostrando que el enfoque de aprendizaje por refuerzo mediante autojuego no era un truco específico de Go, sino un método genuinamente general para dominar juegos de información perfecta.
Resultado en ajedrez
El resultado de AlphaZero en ajedrez atrajo una atención particular tanto en las comunidades de IA como de ajedrez, porque el ajedrez tenía una historia mucho más larga de desarrollo de motores informáticos que el Go, dominada durante dos décadas por motores tradicionales que usaban búsqueda de fuerza bruta profunda y ajustada manualmente, siendo Stockfish el más famoso. Tras solo cuatro horas de entrenamiento mediante autojuego, sin usar libros de aperturas, tablas de finales u otro conocimiento humano específico del ajedrez más allá de las reglas básicas, AlphaZero derrotó a Stockfish en una partida de 100 juegos. Los comentaristas, incluidos grandes maestros que revisaron las partidas, notaron que el juego de ajedrez de AlphaZero mostraba un estilo distintivo, favoreciendo la movilidad de las piezas a largo plazo y la seguridad del rey sobre las heurísticas de conteo de material integradas en los motores tradicionales, y frecuentemente realizaba sacrificios que producían ventajas posicionales duraderas en lugar de ganancia material inmediata, un estilo que algunos describieron como más intuitivo o estéticamente llamativo que el de motores anteriores.
Importancia
La demostración de AlphaZero de que un único algoritmo de aprendizaje por refuerzo mediante autojuego podía dominar múltiples juegos distintos de información perfecta sin ingeniería específica del dominio se consideró un paso importante hacia sistemas de aprendizaje más generales, aunque AlphaZero permaneció limitado a juegos totalmente observables, deterministas y de dos jugadores, y no se extendió al tipo de tareas abiertas y del mundo real asociadas con la inteligencia artificial general. Su arquitectura y metodología de entrenamiento mediante autojuego influyeron en investigaciones posteriores de DeepMind, incluido MuZero, un sistema de seguimiento que aprendió a jugar juegos, incluidos aquellos con reglas desconocidas, aprendiendo un modelo del mundo interno del entorno en lugar de recibir las reglas directamente. Las partidas de ajedrez de AlphaZero fueron posteriormente estudiadas extensamente por jugadores profesionales y desarrolladores de motores, y algunas de sus tendencias estilísticas influyeron en el diseño y la evaluación de motores de ajedrez posteriores, incluidos motores de código abierto basados en redes neuronales que adoptaron métodos similares de entrenamiento mediante autojuego.
Recepción
AlphaZero es ampliamente citado en la investigación de IA como una demostración emblemática del poder del aprendizaje por refuerzo mediante autojuego combinado con redes neuronales profundas y búsqueda, extendiendo la importancia de los resultados anteriores de AlphaGo, incluida su victoria de 2016 sobre Lee Sedol, y reforzando la narrativa de investigación más amplia de DeepMind de que algoritmos de aprendizaje generales, con suficiente potencia computacional, podían igualar o superar décadas de conocimiento de dominio acumulado por humanos y diseñado manualmente en dominios bien definidos.