AlphaStar는 DeepMind이 개발한 컴퓨터 프로그램으로, 실시간 전략 게임인 스타크래프트 II를 플레이한다. 2019년 1월에 소개되었으며, 최고 수준의 인간 전문가에 필적하는 플레이 수준을 달성하여 장기 계획, 실시간 의사 결정, 불완전한 정보 처리가 필요한 영역에서의 인공 지능 발전을 입증했다. 이 시스템은 딥러닝과 머신러닝 기법을 결합하여, 신경망과 강화 학습을 포함하여 게임의 복잡한 메커니즘을 숙달한다.
AlphaStar의 개발은 DeepMind 내의 협력적 노력이었으며, Koray Kavukcuoglu와 Karen Simonyan 같은 연구자들이 참여했다. 이 프로젝트는 DeepMind가 개발한 체스 및 바둑 프로그램과 같은 게임 플레이 AI의 초기 작업을 기반으로 했지만, 스타크래프트 II의 실시간 특성, 숨겨진 정보, 그리고 방대한 행동 공간이 제기하는 추가적인 도전 과제를 해결했다.
게임플레이 및 훈련
AlphaStar는 인간 리플레이의 지도 학습과 강화 학습을 통한 자기 대결의 조합으로 훈련되었다. 처음에는 수천 개의 기록된 경기를 분석하여 인간 플레이어를 모방하는 법을 배웠다. 그 후 다양한 플레이 스타일에 대한 견고성을 보장하기 위해 리그 기반 훈련 방식을 사용하여 자신 및 프로그램의 이전 버전과 대결하면서 전략을 개선했다.
에이전트는 게임 상태를 처리하는 신경망을 통해 작동하며, 이는 가시적인 유닛, 건물, 자원뿐만 아니라 적의 움직임을 숨기는 전쟁의 안개를 포함한다. 인간 플레이어와 비슷한 속도로 행동을 출력하며, 초인적인 속도를 악용하지 않도록 분당 행동 수에 제한을 둔다. 공개 시연에서 AlphaStar는 전문 플레이어를 물리치는 수준으로 플레이했으며, 2018년 12월에는 전문 플레이어 Grzegorz 'MaNa' Komincz를 상대로 10-1 승리를 거두었지만, 경기는 표준 토너먼트 환경과 다른 조건에서 진행되었다.
기술 아키텍처
AlphaStar의 아키텍처는 자연어 처리에 사용되는 트랜스포머 모델과 유사한 트랜스포머 기반 신경망을 사용하여 게임의 순차적 및 공간적 정보를 처리한다. 네트워크는 게임의 지도, 유닛 및 기타 개체를 나타내는 일련의 특징 맵을 입력으로 받아들이고, 행동 선택을 위한 정책과 예상 결과를 추정하기 위한 가치 함수를 출력한다. 시스템은 또한 특정 유닛이나 위치를 선택하는 것과 같은 행동의 가능한 많은 대상을 처리하기 위해 포인터 네트워크를 통합한다.
훈련은 수천 개의 Google Cloud TPU와 CPU를 사용하는 대규모 분산 컴퓨팅 인프라에서 수행되었다. AlphaStar의 최종 버전은 수개월에 걸쳐 훈련되었으며, 리그 기반 훈련에는 서로 경쟁하고 학습하는 여러 에이전트가 포함되었다. 이 접근 방식은 시스템이 다양한 전략을 발견하고 이를 방어하는 데 적응할 수 있게 했다.
결과 및 의의
2019년 7월, DeepMind는 AlphaStar의 성과를 설명하는 논문을 저널 Nature에 게재했다. 이 프로그램은 유럽 스타크래프트 II 래더에서 그랜드마스터 수준에 도달하여 인간 플레이어 상위 0.2% 안에 들었다. 인기 있는 실시간 전략 게임에서 이 수준을 달성한 최초의 AI 시스템이었으며, 체스나 바둑과 같은 보드 게임보다 복잡성과 숨겨진 정보로 인해 더 도전적인 환경으로 간주된다.
AlphaStar의 성공은 복잡하고 현실 세계와 유사한 환경에서 강화 학습의 잠재력을 강조했다. 리그 훈련과 순차적 의사 결정을 위한 트랜스포머 네트워크 사용과 같은 개발된 기법은 이후 생성형 AI 및 기타 딥러닝 영역의 연구에 영향을 미쳤다. 그러나 이 시스템은 스타크래프트 II를 위해 특별히 설계되었으며, 상당한 적응 없이는 다른 영역에 직접 적용할 수 없었다.
반응 및 한계
AlphaStar는 AI 연구 커뮤니티와 게임 커뮤니티 모두에서 주목을 받았다. 일부 비평가들은 초기 시연의 조건, 예를 들어 고정된 지도의 사용과 일부 경기에서 전체 지도를 볼 수 있는 능력이 인간 플레이어보다 유리하게 작용했다고 지적했다. DeepMind는 이후 버전에서 에이전트의 시야를 인간 플레이어가 볼 수 있는 것으로 제한하고 공개 래더에서 플레이함으로써 이러한 우려 중 일부를 해결했다.
성과에도 불구하고 AlphaStar에는 한계가 있었다. 훈련에 엄청난 계산 리소스가 필요했으며, 성능은 스타크래프트 II에 특화되어 있었다. 이 시스템은 다른 게임이나 작업으로 일반화되지 않았으며, 전략은 때때로 비전통적이어서 AI와 인간 플레이의 차이를 반영했다. 2024년 현재, DeepMind는 AlphaStar를 공개적으로 사용 가능한 제품으로 출시하지 않았으며, 이 프로젝트는 상업적 도구보다는 연구 시연으로 간주된다.
유산
AlphaStar는 장기적인 시간 지평을 가진 복잡한 다중 에이전트 환경을 심층 강화 학습이 처리할 수 있음을 입증함으로써 더 넓은 AI 분야에 기여했다. 게임 플레이를 위한 트랜스포머 네트워크 사용은 다른 영역에서 트랜스포머의 광범위한 채택보다 앞섰으며, 리그 훈련 방법은 이후 다중 에이전트 시스템에 대한 연구에서 인용되었다. 이 프로젝트는 또한 경쟁 게임에서 AI의 공정성과 윤리에 대한 논의를 촉발했으며, 전략적 추론에서 AI의 능력에 대한 주목할 만한 사례로 남아 있다.