AlphaZeroは、人工知能研究企業であるDeepMindによって開発された、チェス、将棋、囲碁のボードゲームを習得するためのコンピュータプログラムである。以前のゲームプレイシステムとは異なり、ゲームのルール以外の人間の知識を一切持たずに、自己対戦のみを通じて学習した。このプログラムは、ニューラルネットワークとモンテカルロ木探索を組み合わせており、このアプローチは前身であるAlphaGo Zeroで初めて実証された。同社は2017年12月5日にAlphaZeroを紹介するプレプリント論文を公開し、続いて2018年12月7日にジャーナル『Science』で査読付きの出版物を発表した。
AlphaZeroのトレーニング方法には、オープニングブック、終盤テーブル、人間が作成したヒューリスティックは不要であった。代わりに、強化学習アルゴリズムに導かれ、何百万回も自己対戦することで独自の経験を生成した。このアプローチにより、従来のエンジンよりも1秒あたりに探索する位置がはるかに少ないにもかかわらず、3つのゲームすべてで数時間以内に人間を超えるパフォーマンスを達成できた。DeepMindは、結果として得られたプレイスタイルを異例と表現し、一部の手は人間の観察者には直感に反するように見えた。
トレーニング方法
トレーニングプロセスでは、自己対戦ゲームを生成するために5,000基の第1世代テンソル処理ユニット（TPU）と、ニューラルネットワークの重みを更新するために64基の第2世代TPUを使用し、すべて並行して実行された。トレーニング中のシステムは、進捗を測定するために、短期間の展示ゲームでベンチマークプログラムと定期的に対戦した。チェスエンジンのStockfishに対しては、AlphaZeroは約4時間のトレーニング後にベンチマークパフォーマンスを超えた。将棋エンジンのElmoに対しては約2時間、3日間バージョンのAlphaGo Zeroに対しては約8時間かかった。
ニューラルネットワークはトレーニング中に継続的に更新された。前身のシステムとは異なり、AlphaZeroはゲームの対称性を使用してトレーニングデータを拡張せず、引き分けの可能性を組み込んだ。これは囲碁には存在しないが、チェスと将棋では可能である。このアルゴリズムは、以前のAlphaGo Zeroアプローチを一般化して、これらの追加の引き分けを処理する。
マッチ結果
チェスでは、9時間のトレーニング後、AlphaZeroはStockfish 8（2016年のTCEC世界チャンピオン）と100ゲームのマッチを行い、各サイドは1手につき1分を受け取った。Stockfishは64スレッドと1 GBのハッシュサイズを使用し、AlphaZeroは4つのTPUを備えた単一のマシンで実行された。結果は28勝、0敗、72引き分けであった。人気のある人間のオープニングから始まる一連の12回の100ゲームマッチでは、AlphaZeroは290勝、886引き分け、24敗を記録した。
将棋では、2時間のトレーニング後、AlphaZeroはElmoエンジン（World Computer Shogi Championship 27 summer 2017バージョン、YaneuraOu 4.73）を100ゲームで破り、90勝、8敗、2引き分けを記録した。囲碁では、34時間の自己学習後、AlphaZeroは3日間バージョンのAlphaGo Zeroと対戦し、60勝40敗を記録した。
評価された位置の数は劇的に異なっていた。AlphaZeroはチェスで1秒あたり約80位置、将棋で40,000位置を探索したのに対し、Stockfishは7,000万、Elmoは3,500万を探索した。これは、深いニューラルネットワークが有望なバリエーションに選択的に焦点を当てることで補われた。
パフォーマンスの評価
DeepMindの研究者は、このアルゴリズムが、ルール以外のドメイン知識なしで、複数のボードゲームで人間を超えるレベルに到達できる汎用の強化学習アプローチを実証したと述べた。彼らは、最先端のチェスエンジンは通常、手作りの専門知識を使用して数百万の位置を探索するのに対し、AlphaZeroは数時間以内にその1000分の1の位置を探索したと指摘した。DeepMindのDemis Hassabisは、自身もチェスのアマチュアであり、AlphaZeroのスタイルを異質と表現し、クイーンとビショップをポジション上のアドバンテージのために犠牲にするような直感に反する犠牲を参照した。
しかし、一部の専門家は慎重な見方を示した。グランドマスターのHikaru NakamuraとKomodo開発者のLarry Kaufmanは、Stockfishがオープニングデータベースを使用していれば、結果はより競争的だった可能性があると示唆した。なぜなら、そのエンジンはそのシナリオに最適化されていたからである。Stockfish開発者のDario Romstadは、固定時間に厳密に最適化されておらず、使用されたバージョンはマッチ時点で既に古かったと述べた。同様に、一部の将棋観察者は、Elmoのハッシュサイズが小さすぎる可能性があり、投了またはエントリ設定が不適切だった可能性があると考えた。
遺産
DeepMindはAlphaZeroの完全なコードを公開しなかった。しかし、『Science』論文のアルゴリズムの説明により、一般の人々は同様のシステムを再現できた。2019年、DeepMindはMuZeroと呼ばれるより強力な一般化を公開し、ルールやゲームの表現を教えられずにAtariゲームとボードゲームで強力なパフォーマンスを達成し、コアアイデアが人間が定義したゲームルールに限定されないことを示した。
観察者は、AlphaZeroのデビューをチェスコンピュータ開発の歴史的なマイルストーンと比較した。1997年、Deep Blueはマッチで世界チャンピオンのGarry Kasparovを破った最初のコンピュータとなった。AlphaZeroは異なるフロンティアを表していた。数百万の位置に焦点を当てた特殊な検索重視のヒューリスティックを使用する代わりに、自己対戦でトレーニングされたニューラルネットワークが人間が設計したシステムのパフォーマンスを超える機械学習によって、独自のコードと競争力を学んだのである。