AlphaStarは、DeepMindによって開発された、リアルタイムストラテジーゲームStarCraft IIをプレイするコンピュータプログラムである。2019年1月に発表され、トップクラスの人間のプロフェッショナルに匹敵するプレイレベルを達成し、長期的な計画、リアルタイムの意思決定、不完全情報の処理を必要とする領域における人工知能の進歩を示した。このシステムは、深層学習と機械学習の技術、特にニューラルネットワークと強化学習を組み合わせて、ゲームの複雑なメカニズムを習得する。
AlphaStarの開発はDeepMind内での共同作業であり、Koray KavukcuogluやKaren Simonyanなどの研究者が関与した。このプロジェクトは、DeepMindが開発したチェスや囲碁のプログラムなど、ゲームプレイAIにおける初期の研究に基づいていたが、StarCraft IIのリアルタイム性、隠された情報、大きな行動空間によってもたらされる追加の課題に対処した。
ゲームプレイとトレーニング
AlphaStarは、人間のリプレイからの教師あり学習と、強化学習による自己対戦の組み合わせでトレーニングされた。当初、システムは数千の記録された試合を分析して人間のプレイヤーを模倣することを学習した。その後、リーグベースのトレーニングアプローチを使用して、多様なプレイスタイルに対する堅牢性を確保するために、自分自身やプログラムの初期バージョンと対戦して戦略を洗練させた。
エージェントは、可視ユニット、建物、リソース、および敵の動きを隠す戦争の霧を含むゲーム状態を処理するニューラルネットワークを通じて動作する。人間のプレイヤーに匹敵する速度で行動を出力し、超人的な速度を悪用しないように1分あたりの行動数に制限がある。公開デモでは、AlphaStarはプロのプレイヤーを打ち負かすレベルでプレイし、2018年12月にはプロのプレイヤーGrzegorz 'MaNa' Kominczに対して10対1の勝利を収めたが、試合は標準的なトーナメント設定とは異なる条件下で行われた。
技術的アーキテクチャ
AlphaStarのアーキテクチャは、自然言語処理で使用されるトランスフォーマーモデルと同様の、トランスフォーマーベースのニューラルネットワークを使用して、ゲーム内の順序的および空間的情報を処理する。ネットワークは、ゲームのマップ、ユニット、およびその他のエンティティを表す一連のフィーチャマップとして入力を受け取り、アクションを選択するためのポリシーと期待される結果を推定するための価値関数を出力する。システムはまた、特定のユニットや場所を選択するなど、アクションの可能なターゲットの多数を処理するためにポインターネットワークを組み込んでいる。
トレーニングは、数千のGoogle Cloud TPUとCPUを使用する大規模な分散コンピューティングインフラストラクチャで実行された。AlphaStarの最終バージョンは数ヶ月にわたってトレーニングされ、リーグベースのトレーニングには、互いに競争し学習する複数のエージェントが関与した。このアプローチにより、システムは多様な戦略を発見し、それらに対抗するために適応することができた。
結果と意義
2019年7月、DeepMindはAlphaStarの成果を説明する論文をジャーナルNatureに発表した。このプログラムは、ヨーロッパのStarCraft IIラダーでグランドマスターレベルに達し、人間のプレイヤーの上位0.2%にランクインした。これは、複雑さと隠された情報のためにチェスや囲碁などのボードゲームよりも困難な環境と見なされる、人気のあるリアルタイムストラテジーゲームでこのレベルを達成した最初のAIシステムであった。
AlphaStarの成功は、複雑で現実世界に似た設定における強化学習の可能性を強調した。リーグトレーニングや逐次意思決定のためのトランスフォーマーネットワークの使用など、開発された技術は、その後の生成AIや深層学習の他の分野の研究に影響を与えた。しかし、このシステムはStarCraft II専用に設計されており、大幅な適応なしに他の領域に直接適用することはできなかった。
受容と限界
AlphaStarは、AI研究コミュニティとゲームコミュニティの両方から注目を集めた。一部の批評家は、固定マップの使用や一部の試合でマップ全体を表示できる能力など、初期デモの条件が人間のプレイヤーに対して有利に働いたと指摘した。DeepMindは、エージェントの視界を人間のプレイヤーが見るものに制限し、公開ラダーでプレイすることで、後のバージョンでこれらの懸念の一部に対処した。
その成果にもかかわらず、AlphaStarには限界があった。トレーニングには膨大な計算リソースが必要であり、そのパフォーマンスはStarCraft IIに固有のものであった。システムは他のゲームやタスクに一般化せず、その戦略は時折型にはまらず、AIと人間のプレイの違いを反映していた。2024年現在、DeepMindはAlphaStarを公開製品としてリリースしておらず、このプロジェクトは商業ツールではなく研究デモと見なされている。
遺産
AlphaStarは、深層強化学習が長い時間軸を持つ複雑なマルチエージェント環境を処理できることを示すことで、AIの広範な分野に貢献した。ゲームプレイにおけるトランスフォーマーネットワークの使用は、他の領域でのトランスフォーマーの広範な採用に先立っており、そのリーグトレーニング方法は、その後のマルチエージェントシステムの研究で引用されている。このプロジェクトはまた、競争ゲームにおけるAIの公平性と倫理についての議論を引き起こし、戦略的推論におけるAIの能力の注目すべき例として残っている。