OpenAI Five는 OpenAI가 개발한 컴퓨터 프로그램으로, 5대5 비디오 게임인 Dota 2를 플레이한다. 이는 프로 e스포츠 경기에서 현 세계 챔피언을 꺾은 최초의 인공지능 시스템으로, 2019년 4월에 이 업적을 달성했다. 이 프로젝트는 머신 러닝을 발전시키는 것을 목표로 했으며, 연속적인 행동 공간, 부분적으로 관찰 가능한 상태, 장기적인 전략이 필요한 게임을 다루는 방식에 중점을 두었다. 이를 통해 보다 일반적인 문제 해결 시스템을 구축하고자 했다.
역사
OpenAI는 2016년 11월에 Dota 2 봇 개발을 시작했다. 회사가 이 게임을 선택한 이유는 스트리밍 플랫폼인 Twitch에서 인기가 높았고, Linux를 공식적으로 지원했으며, 개발자에게 API(응용 프로그래밍 인터페이스)를 제공했기 때문이다. 첫 공개 시연은 2017년 8월 The International 대회에서 이루어졌으며, 봇은 1대1 경기에서 프로 게이머 Dendi를 이겼다. 경기 후 OpenAI의 CTO인 Greg Brockman은 봇이 2주 동안 자기 자신과의 대결을 통해 강화 학습으로 학습했다고 설명했다.
2018년 6월까지 봇은 5명의 팀으로 함께 플레이할 수 있게 되었고, 아마추어 및 세미 프로 팀을 이겼다. 2018년 The International 대회에서는 OpenAI Five가 프로 팀인 paiN Gaming과 중국 올스타 팀을 상대로 두 번의 시범 경기를 치렀지만 모두 패배했다. 그러나 OpenAI는 패배에도 불구하고 이 경기가 알고리즘 개선에 valuable한 데이터를 제공했다고 평가했다. 마지막 공개 시연은 2019년 4월에 열렸으며, OpenAI Five는 현 세계 챔피언인 OG를 3전 2선승제에서 이겼다. 같은 달에 열린 온라인 이벤트에서는 일반 대중이 봇과 겨룰 수 있었고, 4일 동안 42,729경기가 진행되었으며 봇의 승률은 99.4%에 달했다.
구조
각 OpenAI Five 봇은 신경망으로 구성되었으며, 단일 레이어에 4096개의 LSTM(장단기 메모리) 유닛을 포함했다. 신경망은 Dota 2 API에서 추출한 현재 게임 상태를 입력으로 받았다. 네트워크는 여러 개의 행동 헤드를 통해 출력을 생성했으며, 각 헤드는 행동 지연, 행동 유형, 목표 좌표 등 특정 의미를 담당했다. 시스템은 세계를 20,000개의 숫자 목록으로 관찰했고, 행동을 정의하는 8개의 값 목록을 출력했다. 학습에는 강화 학습이 사용되었으며, "Rapid"이라는 인프라에서 수천 대의 머신을 관리하며 진행되었다. 2018년까지 OpenAI Five는 256개의 GPU와 128,000개의 CPU 코어를 사용하여 약 180년에 해당하는 게임 시간을 플레이했다. 학습 알고리즘으로는 Proximal Policy Optimization이 사용되었다.
다른 게임 AI 시스템과의 비교
OpenAI Five는 체스를 둔 Deep Blue, 바둑을 둔 AlphaGo, 퀴즈쇼 Jeopardy!에 출연한 Watson과 같은 이전 게임 AI들과 여러 측면에서 달랐다.
- 장기적 관점: Dota 2 경기는 약 45분 동안 진행되며 초당 30프레임으로 렌더링되어 경기당 약 80,000틱이 발생한다. OpenAI Five는 매 4번째 프레임만 관찰하여 경기당 약 20,000번의 결정을 내렸다. 반면 체스는 보통 40수 안에 끝나고, 바둑은 150수 안에 끝난다.
- 부분 관찰 상태: Dota 2에는 전쟁의 안개(fog of war) 시스템이 있어 적 유닛과 이동을 숨기므로, 플레이어는 불완전한 정보를 바탕으로 결정을 내려야 한다. 반면 체스와 바둑은 완전 정보 게임으로 숨겨진 요소가 없다.
- 연속적 행동 공간: Dota 2의 각 영웅은 수십 가지 행동을 수행할 수 있으며, 목표 지점이나 유닛을 지정해야 한다. 개발자들은 약 170,000가지의 가능한 행동이 있다고 추정했다. 평균적으로 매 틱마다 약 1,000개의 유효한 행동이 가능하다. 반면 체스는 평균적으로 약 35가지, 바둑은 약 250가지의 합법적인 수가 있다.
- 연속적 관찰 공간: 게임 상태는 20,000개의 숫자로 표현되었으며, 이는 체스의 약 70개, 바둑의 약 400개의 값과 비교된다.
이러한 특성들로 인해 Dota 2는 AI에게 훨씬 더 복잡한 도전 과제가 되었으며, 실시간 의사 결정, 장기 전략, 팀워크가 필요했다.
평가
OpenAI Five는 AI, 기술, 게임 커뮤니티에서 널리 주목을 받았다. Microsoft의 창립자 Bill Gates는 이 성과를 "대단한 일"이라고 평가하며 팀워크와 협력이 필요하다는 점을 강조했다. 체스 챔피언 Garry Kasparov는 1997년 Deep Blue에게 패배한 경험이 있는 인물로, 2018년 The International에서의 패배에도 불구하고 OpenAI Five가 곧 프로 팀을 이길 수 있을 것이라고 예측했다. MIT Technology Review와의 인터뷰에서 AI 전문가들은 Dota 2가 "매우 복잡한 게임"이라고 인정하면서도, 비프로 선수를 상대로 한 승리는 인상적이지만 완전한 성공으로 보기는 어렵다는 의견을 냈다. PC Gamer는 프로 선수들을 상대로 한 승리가 AI 연구의 중요한 이정표라고 평가했으며, 복잡하고 역동적인 환경을 처리하는 시스템의 능력을 강조했다.