Libratusは、ポーカー、特にヘッズアップ・ノーリミット・テキサスホールデムをプレイするために設計された人工知能プログラムである。これはピッツバーグのカーネギーメロン大学で開発され、その作成者らは、これをポーカー以外の特定用途にも一般化可能であることを意図していた。Libratusという名前はラテン語で「均衡のとれた」を意味する表現であり、以前のポーカーボットであるClaudicoの名目上の後継機であった。
背景と開発
Libratusはゼロから構築されたが、Claudicoの遺産を引き継いでいた。その開発には、Claudicoの200〜300万コア時間と比較して、1500万コア時間以上の計算が必要であり、ピッツバーグスーパーコンピューティングセンターの「Bridges」スーパーコンピュータ上で実行された。Libratusの作成者の一人であるTuomas Sandholm教授によると、このボットは固定された組み込み戦略を持たず、代わりに戦略をその場で計算するアルゴリズムを使用する。中核技術は、反実仮想後悔最小化の新しい変種、すなわち2014年にOskari Tammelinによって導入されたCFR+法であった。CFR+に加えて、LibratusはSandholmと彼の博士課程学生であるNoam Brownによって開発された、終盤解決のための新しい技術を使用した。この方法は、ポーカープログラミングにおける以前の事実上の標準であった「アクションマッピング」の必要性を排除した。
Libratusの開発と並行して、カレル大学、チェコ工科大学、アルバータ大学の国際チームがDeepStackを開発し、2016年12月にヘッズアップ・ノーリミット・テキサスホールデムでプロのポーカープレイヤーを破った最初のコンピュータプログラムとなった。両システムは反実仮想後悔最小化を使用したが、そのアプローチは異なっていた。DeepStackはゲーム状態の評価にニューラルネットワークを使用したのに対し、Libratusはリーフ評価にニューラルネットワークを使用しなかった。
2017年人間対AIマッチ
2017年1月11日から31日まで、Libratusは「Brains vs. Artificial Intelligence: Upping the Ante challenge」と呼ばれるトーナメントで、Jason Les、Dong Kim、Daniel McAulay、Jimmy Chouの4人のトップ人間ポーカープレイヤーと対戦した。このトーナメントには12万ハンドが含まれ、2015年にClaudicoがプレイした前回のトーナメントと比較して50%増加し、期間は追加の量を管理するために13日から20日に延長された。
4人のプレイヤーは2つのサブチームに分けられた。一方のサブチームは公開でプレイし、もう一方のサブチームは「The Dungeon」と呼ばれる別の部屋に配置され、携帯電話やその他の外部通信は一切許可されなかった。Dungeonのサブチームは公開サブチームと同じカードの順序を受け取ったが、サイドが入れ替えられていた。Dungeonの人間は公開でAIが受け取ったカードを受け取り、その逆も同様であった。この設定は、カード運の影響を無効にすることを意図していた。
賞金20万ドルは人間のプレイヤーだけが分け合った。各プレイヤーは最低2万ドルを受け取り、残りはAIに対するパフォーマンスに基づいて分配された。トーナメントのルールに事前に書かれていたように、AI自体はトーナメントに勝ったにもかかわらず賞金を受け取らなかった。
トーナメント中、Libratusは日中にプレイヤーと対戦し、夜間には前日のゲームプレイ、特に敗北を分析して戦略を洗練させた。これにより、人間チームが発見した不完全さを継続的に修正することができ、人間とLibratusの間で永続的な軍拡競争が生じた。夜間の分析には、Bridgesスーパーコンピュータでさらに400万コア時間が使用された。
ポーカープレイヤーの間では、誰がトーナメントに勝つかについて活発な賭け市場があった。当初はボットに対して4:1のオッズで始まったが、8日目にはどの人間が最も負けが少ないかという賭け市場になった。
AIの強さ
Libratusはトーナメントの初日から人間のプレイヤーに対してリードしていた。プレイヤーのDong KimはAIの強さについて次のように述べている。「今日までそれがどれほど優れているか気づかなかった。私のカードが見えるかのような、ズルをしている相手とプレイしているように感じた。ズルを非難しているわけではない。ただ、それほど優れていた。」
競技の16日目に、Libratusは初めて100万ドルの壁を突破した。その日の終わりには、人間チームに対して119万4402ドルのチップでリードしていた。競技の終了時には、Libratusは176万6250ドルのチップでリードし、圧勝した。マッチのビッグブラインドは100ドルに設定されていたため、Libratusの勝率は100ハンドあたり14.7ビッグブラインドに相当し、これはポーカーでは非常に高い勝率と見なされ、統計的に非常に有意である。
比較として、DeepStackは11人のプロを対象に4万4000ハンドの研究で100ハンドあたり49ビッグブラインドの勝率を達成したが、テスト条件（ハンド数、対戦相手のスキルレベル、トーナメント形式）が異なるため、直接の比較は困難である。
人間のプレイヤーのうち、Dong Kimが1位、MacAulayが2位、Jimmy Chouが3位、Jason Lesが4位であった。
このボットは型破りなベッティングスタイルを持ち、特定の状況ではポットに100ドルしかない場合でも2万ドルを賭けることがあった。勝利後、この戦略はポーカーコミュニティによって分析され、採用された。
その他の可能な応用
Libratusの最初の応用はポーカーをプレイすることであったが、その設計者らはAIに対してはるかに広い使命を念頭に置いていた。研究者らは、不完全な情報が利用可能であり、「対戦相手」が情報を隠したり、欺瞞に従事したりする可能性があるあらゆるゲームや状況を学習できるようにAIを設計した。このため、Sandholmと彼の同僚は、サイバーセキュリティ、ビジネス交渉、医療計画など、他の現実世界の問題にもこのシステムを適用することを提案している。
関連項目
- DeepStack
- コンピュータポーカープレイヤー
- Cepheus (ポーカーボット)
- Claudico
- Polaris (ポーカーボット)
- Pluribus (ポーカーボット)
参考文献
外部リンク
- Brains versus Artificial Intelligence Archived 2016-02-03 at the Wayback Machine リバーズカジノの公式ウェブサイト