AlphaZero는 DeepMind이 개발한 Reinforcement learning 시스템으로, 단일 범용 알고리즘과 인간이 생성한 게임 데이터 없이 체스, 쇼기, 바둑을 초인간적 수준으로 학습했다. DeepMind는 2017년 12월에 발표한 논문에서 AlphaZero를 소개했으며, 각 게임의 규칙만을 출발점으로 삼아 자기 대국(self-play)을 통해 전적으로 학습하고, 심층 신경망과 몬테카를로 트리 탐색을 결합하여 위치를 평가하고 수를 선택한 다음, 스스로와의 게임 결과를 통해 해당 신경망을 개선하는 시스템을 설명했다.
AlphaGo와의 관계
AlphaZero는 AlphaGo Zero가 처음 입증한 자기 대국 접근 방식을 일반화하여, 인간 게임 데이터 없이 순수하게 자기 대국으로 바둑을 학습한 AlphaGo 버전을 추가 게임에 적용했다. AlphaGo와 AlphaGo Zero가 바둑에만 특화된 반면, AlphaZero는 규칙 자체를 제외한 게임별 조정 없이 동일한 기본 아키텍처와 훈련 절차를 사용하여 체스와 쇼기에서도 초인간적 성능에 도달했으며, 이는 자기 대국 강화 학습 접근 방식이 바둑에만 국한된 특수한 기법이 아니라 완전 정보 게임을 마스터하기 위한 진정으로 일반적인 방법임을 입증했다.
체스 결과
AlphaZero의 체스 결과는 AI 커뮤니티와 체스 커뮤니티 모두에서 특히 주목을 받았는데, 그 이유는 체스가 바둑보다 컴퓨터 엔진 개발의 역사가 훨씬 길고, 20년 동안 손으로 세밀하게 조정된 깊은 무차별 탐색을 사용하는 전통적인 엔진, 특히 Stockfish가 지배해 왔기 때문이다. 오프닝 북, 엔드게임 테이블베이스, 또는 기본 규칙 외의 다른 체스 특화 인간 지식을 사용하지 않고 단 네 시간의 자기 대국 훈련 후, AlphaZero는 100게임 매치에서 Stockfish를 물리쳤다. 게임을 검토한 그랜드마스터를 포함한 평론가들은 AlphaZero의 체스 플레이가 독특한 스타일을 보여주며, 전통적인 엔진에 내장된 물질 계산 휴리스틱보다 장기적인 기물 기동성과 킹 안전을 선호하고, 즉각적인 물질 이득보다 지속적인 위치적 이점을 만들어내는 희생을 자주 감행했으며, 일부는 이를 이전 엔진보다 더 직관적이거나 미적으로 두드러진 스타일로 묘사했다고 지적했다.
중요성
AlphaZero가 단일 자기 대국 강화 학습 알고리즘으로 도메인별 엔지니어링 없이 여러 개별 완전 정보 게임을 마스터할 수 있음을 입증한 것은 보다 범용적인 학습 시스템으로 가는 중요한 단계로 간주되었지만, AlphaZero는 완전히 관찰 가능하고 결정적이며 두 명의 플레이어가 참여하는 게임에 국한되었고 Artificial general intelligence와 관련된 개방형 실제 작업으로 확장되지는 않았다. 그 아키텍처와 자기 대국 훈련 방법론은 이후 DeepMind 연구, 특히 규칙을 직접 제공받는 대신 환경의 내부 World model을 학습하여 알려지지 않은 규칙을 포함한 게임을 학습한 후속 시스템인 MuZero에 영향을 주었다. AlphaZero의 체스 게임은 이후 전문 체스 플레이어와 엔진 개발자에 의해 광범위하게 연구되었으며, 그 스타일적 경향 중 일부는 유사한 자기 대국 훈련 방법을 채택한 오픈소스 신경망 기반 엔진을 포함한 이후 체스 엔진의 설계와 평가에 영향을 미쳤다.
반응
AlphaZero는 심층 신경망과 탐색을 결합한 자기 대국 강화 학습의 힘을 보여주는 획기적인 사례로 AI 연구에서 널리 인용되며, AlphaGo의 초기 결과, 특히 2016년 이세돌과의 대국에서의 승리의 중요성을 확장하고, 충분한 계산 능력이 주어지면 일반 학습 알고리즘이 잘 정의된 도메인에서 수십 년간 축적된 인간 및 수작업 엔지니어링 도메인 지식을 능가하거나 초과할 수 있다는 DeepMind의 광범위한 연구 서사를 강화했다.