OpenAI Fiveは、OpenAIによって開発された、5対5のビデオゲームDota 2をプレイするコンピュータプログラムである。これは、プロのeスポーツの試合で現役の世界チャンピオンを破った最初の人工知能システムであり、2019年4月にこの偉業を達成した。このプロジェクトは、連続的なアクション空間、部分的な観測可能性、長期的な戦略を伴うゲームに取り組むことで機械学習を前進させ、より汎用的な問題解決システムを生み出すことを目的としていた。
このシステムの開発は2016年11月に始まり、最初の公開はThe International 2017で、1対1の試合でプロプレイヤーのDendiを破った。2018年までに5人全員のチームとしてプレイできるようになり、2019年にはThe International 2018のチャンピオンであるOGに対してベストオブスリーのシリーズで勝利した。OpenAI Fiveのアルゴリズムは後に、ロボットハンドを含む他のプロジェクトにも応用された。これは、AlphaGo、Deep Blue、AlphaStarなどの他のゲームプレイAIとしばしば比較される。
歴史
OpenAIは2016年11月にDota 2ボットのアルゴリズムの開発を開始した。同社がDota 2を選んだのは、ストリーミングプラットフォームのTwitchで人気があり、Linuxをネイティブサポートし、開発者向けのアプリケーションプログラミングインターフェース（API）を提供していたためである。最初の公開デモは2017年8月のThe International 2017で行われ、ボットはライブの1対1の対戦でウクライナのプロプレイヤーDendiを破った。試合後、OpenAIのCTOであるGreg Brockmanは、ボットが強化学習、すなわち試行錯誤によってシステムが改善される方法を用いて、2週間の実時間で自己対戦によって学習したと説明した。
2018年6月までに、ボットは5人全員のチームとして一緒にプレイできるようになり、アマチュアおよびセミプロのチームを破った。The International 2018では、OpenAI FiveはプロチームであるpaiN Gamingと元中国人プレイヤーのオールスターチームとの2回のエキシビションマッチを行ったが、両方とも敗れた。敗北にもかかわらず、OpenAIはこのイベントを成功とみなした。アルゴリズムを洗練させるための貴重なデータが得られたからである。最後の公開デモは2019年4月で、OpenAI Fiveはサンフランシスコでのライブイベントで、現役の世界チャンピオンであるOGに対してベストオブスリーのシリーズで勝利した。同じ月に、一般の人々がボットと対戦できるオンラインイベントが開催され、4日間でボットは42,729試合を行い、そのうち99.4%に勝利した。
アーキテクチャ
各OpenAI Fiveボットは、Dota 2 APIから抽出された現在のゲーム状態を処理する4096ユニットのLSTM（Long Short-Term Memory）を含む単一の層を持つニューラルネットワークであった。ネットワークは、アクション前の遅延、アクションの種類、ターゲット座標など、それぞれ特定の意味を持つ複数のアクションヘッドを通じてアクションを生成した。システムは、世界を20,000の数値のリストとして観測し、アクションを定義するための8つの値のリストを生成した。これは、数千台のマシンを管理する「Rapid」インフラストラクチャ上で強化学習を用いて訓練された。2018年までに、OpenAI Fiveは約180年分のゲーム時間をプレイし、256基のGPUと128,000のCPUコアを使用し、近位方策最適化アルゴリズムを用いていた。
他のゲームAIシステムとの比較
OpenAI Fiveは、Deep Blue（チェス）、AlphaGo（囲碁）、Watson（ジェパディ!）などの以前のゲームプレイAIとは、いくつかの重要な点で異なっていた：
- 長期的な視点：Dota 2の試合は1秒間に30フレームで約45分続き、1試合あたり約80,000ティックになる。OpenAI Fiveは4フレームごとに観測し、20,000の動きを生成した。対照的に、チェスは通常40手以内、囲碁は150手以内で終了する。
- 部分的な観測状態：Dota 2には戦場の霧があり、敵ユニットや動きを隠すため、プレイヤーは不完全な情報に基づいて意思決定を行う必要がある。チェスと囲碁は、隠された要素のない完全情報ゲームである。
- 連続的なアクション空間：Dota 2の各ヒーローは、ユニットや位置をターゲットにした数十のアクションを実行でき、開発者はヒーローごとに最大170,000の可能なアクションを許可している。平均して、各ティックで約1,000の有効なアクションが利用可能であり、チェスの35、囲碁の250と比較される。
- 連続的な観測空間：ゲーム状態は20,000の数値で表され、チェスの盤面は約70の値、囲碁の盤面は約400の値である。
これらの特性により、Dota 2はAIにとってより複雑な課題となり、リアルタイムの意思決定、長期的な計画、チームワークを処理するシステムが必要とされた。
評価
OpenAI Fiveは、AI、テクノロジー、ゲームコミュニティから広く認知された。マイクロソフトの創業者であるビル・ゲイツは、その勝利を「大きな出来事」と呼び、チームワークと協力が必要だったからだと述べた。1997年にDeep Blueに敗れたチェスのチャンピオン、ギャリー・カスパロフは、The International 2018でのボットの敗北にもかかわらず、「彼らはそこに到達するだろう、そして予想よりも早く」と述べた。MIT Technology ReviewがインタビューしたAI専門家は、Dota 2は「非常に複雑なゲーム」であり、非プロのプレイヤーに対する勝利でさえ印象的だと指摘した。PC Gamerは、プロのプレイヤーに対する勝利はAI研究にとって重要なマイルストーンであり、複雑で動的な環境を処理するシステムの能力を強調したと書いた。