R2D2(Recurrent Replay Distributed Deep DQN)는 심층 강화 학습 알고리즘으로, DeepMind의 연구자들이 개발했다. 이 알고리즘은 2019년 논문 "Recurrent Experience Replay in Distributed Reinforcement Learning"에서 소개되었으며, 순환 신경망을 심층 Q-네트워크(DQN) 프레임워크에 적용하는 데 있어 중요한 진전을 나타낸다. R2D2는 부분 관측 가능성과 장기 의존성을 가진 강화 학습 문제를 해결하도록 설계되었으며, 발표 당시 3D 및 2D Atari 게임 모음에서 최첨단 성능을 달성했다.
R2D2는 분산 강화 학습, 특히 공유 리플레이 버퍼와 여러 액터를 사용하여 다양한 경험을 수집하는 Ape-X DQN 아키텍처의 이전 연구를 기반으로 구축되었다. 핵심 혁신은 순환 신경망, 특히 장단기 메모리(LSTM) 유닛을 행동 및 학습 과정 모두에 통합한 것이다. 이를 통해 에이전트는 시간적 맥락을 포착할 수 있는 내부 상태를 유지할 수 있으며, 이는 관측이 역사 없이는 모호한 환경에서 중요하다.
핵심 아키텍처 및 순환 경험 리플레이
R2D2의 핵심 구성 요소는 개별 전이 대신 경험 시퀀스를 저장하는 순환 리플레이 버퍼의 사용이다. 표준 DQN에서 경험 리플레이는 일반적으로 단일 (상태, 행동, 보상, 다음 상태) 튜플을 저장한다. R2D2는 길이 80의 짧은 시퀀스를 저장하며, 각 저장된 시퀀스에는 기록 당시 LSTM의 초기 내부 상태가 포함된다. 이 설계는 네트워크가 리플레이된 데이터에서 학습할 때 숨겨진 상태를 시간적 맥락에 맞게 올바르게 초기화할 수 있도록 보장하여, 잘린 시퀀스나 순서가 잘못된 시퀀스에서 훈련할 때 발생하는 문제를 피한다.
이 알고리즘은 Prioritized Experience Replay에서 도입된 시간차 오류를 기반으로 시퀀스를 샘플링하는 우선 순위 리플레이 메커니즘을 사용한다. 순환 숨겨진 상태의 확률성을 처리하기 위해 R2D2는 "번인(burn-in)"이라는 기술을 사용하는데, 여기서 시퀀스의 일부(일반적으로 40시간 단계)는 나머지 단계에서 실제 훈련 손실이 계산되기 전에 숨겨진 상태를 준비하는 데만 사용된다. 이는 훈련 안정성과 성능을 향상시킨다.
훈련 및 분산 설정
R2D2는 Ape-X의 아키텍처를 기반으로 분산 방식으로 훈련된다. 최대 256개의 병렬 액터를 사용하여 각각 자체 LSTM 순환 상태를 갖춘 환경의 별도 복사본과 상호 작용한다. 이러한 액터는 경험을 생성하여 중앙 리플레이 버퍼로 보낸다. 별도의 학습자 프로세스는 이 버퍼에서 배치를 샘플링하고 네트워크 가중치를 업데이트한다. 이러한 분리는 높은 처리량과 다양한 데이터 수집을 가능하게 하며, 이는 순환 네트워크를 효과적으로 훈련하는 데 필수적이다.
원래 실험에서 R2D2는 Arcade Learning Environment의 57개 Atari 2600 게임과 3D 미로 탐색 환경인 DeepMind Lab에서 훈련되었다. 이 알고리즘은 이전 방법보다 상당한 샘플 효율성 향상을 보여주었으며, 대부분의 게임에서 인간 수준의 성능 이상을 달성했다. 특히 R2D2는 거의 모든 게임에서 이전 Ape-X DQN보다 우수한 성능을 보였으며, 어려운 탐색 요구 사항으로 유명한 Montezuma's Revenge를 포함한 여러 게임에서 새로운 기록을 세웠다.
다른 방법과의 비교
R2D2는 2010년대 후반 순환 아키텍처와 분산 훈련을 결합하는 더 넓은 추세의 일부였다. 이는 N-step double DQN과 같은 이전 알고리즘, 그리고 인간 시연을 통합하여 탐색을 더욱 개선한 이후의 R2D3(우선 순위 경험 리플레이 및 3D 환경을 갖춘 순환 리플레이 분산 DQN)와 유사점을 공유했다. 이들 중 R2D2는 Rainbow DQN 확장 및 MuZero와 같은 더 발전된 에이전트 개발을 포함한 후속 설계에 영향을 준 기초 작업으로 자주 인용된다.
이 알고리즘의 성공은 특히 부분 관측 가능한 작업에서 강화 학습에서 메모리의 중요성을 강조했다. 피드포워드 네트워크가 현재 프레임만 보는 반면, R2D2의 순환 계층은 시간적 패턴에서 객체 속도나 화면 밖 자극의 존재와 같은 숨겨진 역학을 추론할 수 있다.
구현 및 영향
R2D2 논문은 Steven Kapturowski, Georg Ostrovski, John Quan, Remi Munos, Will Dabney가 저술했으며, 2019년 국제 학습 표현 회의(ICLR)에서 발표되었다. 코드베이스는 처음에 오픈 소스로 공개되지 않았지만, 아이디어는 학계 및 산업계에서 널리 채택되었다. 이후 순환 경험 리플레이 개념은 심층 강화 학습의 표준 도구가 되었으며, 다양한 후속 알고리즘과 프레임워크에 등장했다.
R2D2의 영향은 강화 학습 연구의 더 넓은 분야로 확장되며, 여기서 일반적으로 기준선으로 사용된다. 분산 액터, 우선 순위 시퀀스 및 순환 역학의 조합은 로봇 공학 및 자율 시스템을 포함한 많은 현대 에이전트에서 복제되었다. 이 알고리즘의 설계 원칙은 트랜스포머 기반 메모리 모델에 대한 작업에도 정보를 제공했지만, LSTM과 같은 순환 접근 방식은 많은 실시간 응용 프로그램에서 여전히 계산 효율적이다.
한계 및 향후 방향
강점에도 불구하고 R2D2는 고유한 한계가 있다. LSTM 유닛 사용은 추가 매개변수와 훈련 복잡성을 도입하여, 더 간단한 작업에서 피드포워드 대안보다 학습 속도를 늦출 수 있다. 분산 설정은 또한 상당한 계산 리소스를 요구하며, 역사적으로 잘 지원되는 연구 환경에 적용을 제한했다. 그러나 하드웨어 성능이 향상됨에 따라 이러한 제약은 덜 제한적이 되었다.
후속 연구는 가치 기반 행동 선택, 개선된 탐색 전략 및 생성 모델과의 통합과 같은 수정으로 R2D2를 기반으로 구축되었다. R2D2의 유산은 메모리와 순환이 복잡한 환경에서 강력한 성능을 달성하는 데 중요하다는 것을 입증한 것이며, 이 원칙은 게임 플레이에서 대규모 응용 프로그램의 순차적 의사 결정에 이르는 현대 강화 학습 시스템을 계속 형성하고 있다.
요약하면, R2D2는 순환 리플레이 설계, 분산 훈련 효율성 및 강력한 실증 결과로 알려진 심층 강화 학습의 획기적인 알고리즘이다. 부분 관측 가능성 처리에 대한 기여는 이 분야의 후속 작업에 기준점이 되었다.