DeepStack는 두 명의 플레이어가 참여하는 포커, 특히 헤즈업 노리밋 텍사스 홀덤을 플레이하도록 설계된 인공지능 컴퓨터 프로그램이다. 이 프로그램은 이 게임에서 인간 프로 선수를 상대로 승리한 최초의 컴퓨터 프로그램이다. 이 프로그램은 찰스 대학교, 체코 공과대학교, 앨버타 대학교의 국제 팀에 의해 개발되었다.
배경
포커는 학계에서 핵심적인 벤치마크 게임으로, 최악의 상대에 대항하는 최적 전략을 찾기 위한 상당한 연구가 수행되었다. 인간 프로 선수는 체스와 같은 완전 정보 게임에서 수십 년 전에 이미 상대를 압도했지만, 불완전 정보 게임은 훨씬 더 복잡한 재귀적 추론을 요구한다. 이전의 대중적인 접근법은 주로 추상화를 사용하여 게임을 단순화하는 데 의존했다. 그러나 불완전 정보 게임에서의 추상화는 종종 매우 착취 가능한 전략을 초래한다. 대신 DeepStack은 신경망과 지속적 재해석과 같은 여러 알고리즘 혁신을 사용한다.
알고리즘
프로그램의 핵심은 특정 카드 조합의 가치를 결정하기 위해 신경망을 사용하는 것이다. 신경망은 소수의 게임 상태에 대해서만 훈련되며, 훈련 중에 보지 못한 상황으로 일반화하는 데 사용된다. 프로그램은 신경망과 지속적 재해석을 사용한 탐색을 통해 각 단계에서 발견된 전략이 이전 단계에서 사용된 전략과 일관되도록 보장한다. 탐색 절차는 역사실적 후회 최소화를 사용하여 룩어헤드 트리에서 전략을 반복적으로 업데이트하며, 신경망은 리프 평가에 사용된다. 리프 평가는 특정 깊이를 넘어서는 계산을 빠른 근사 추정으로 대체함으로써 게임의 나머지 전체에 대한 추론을 피한다.
2016년 프로 선수 토너먼트
2016년 12월에 완료된 연구에서 DeepStack은 44,000핸드의 포커를 플레이하여 11명의 프로 포커 선수를 물리쳤다. 모든 게임에서 DeepStack은 100핸드당 49 빅 블라인드를 획득했으며(항상 폴드하면 100핸드당 75 빅 블라인드만 잃음), 이는 0에서 4 표준 편차 이상으로, 헤즈업 노리밋 텍사스 홀덤 포커에서 프로 포커 선수를 이긴 최초의 컴퓨터 프로그램이 되었다. 이 결과는 인공지능 연구에서 중요한 이정표였으며, AI가 불완전 정보 게임의 복잡성을 처리할 수 있음을 입증했다.
경쟁 접근법
DeepStack과 동시에 카네기 멜론 대학교 연구 그룹의 경쟁 접근법인 Libratus가 발표되었다. 2017년 1월 11일부터 31일까지 Libratus는 4명의 최고급 인간 포커 선수와 토너먼트에서 대결했다. 이 알고리즘은 Science에도 게재되었다. Libratus는 리프 평가에 신경망을 사용하지 않는다. 전문가들은 신경망을 사용한 학습(DeepStack이 수행한 방식)이 더 일반적이며, 실제로 이후 불완전 정보가 있는 다른 게임으로 일반화하는 후속 연구에서 사용되었다고 주장한다. 이러한 차이는 기계 학습 분야 내에서 DeepStack 접근법의 더 넓은 적용 가능성을 강조한다.
포커 커뮤니티의 반응
456핸드를 완료한 아일랜드 포커 프로인 Dara O'Kearney는 DeepStack이 게임 이론에 기반하여 일부 인간 선수가 사용하는 스타일과 유사한 방식으로 플레이했다고 주장했다. 프로그램의 성공은 전략적 의사 결정에서 딥러닝 기술의 잠재력에 대한 검증으로 여겨졌으며, 유사한 방법을 다른 영역에 적용하는 데 추가적인 관심을 불러일으켰다.
같이 보기
- 컴퓨터 포커 플레이어
- Cepheus (포커 봇)
- Libratus
- Pluribus (포커 봇)