Deep Q-Network(DQN)은 딥러닝과 Q-러닝을 통합하여 에이전트가 크거나 연속적인 상태 공간을 가진 환경에서 결정을 내릴 수 있도록 하는 강화 학습 알고리즘이다. 이 알고리즘은 2015년 Nature에 게재된 논문에서 구글 딥마인드의 연구자들에 의해 소개되었으며, 원시 픽셀 입력과 게임 점수만을 사용하여 49개의 Atari 2600 게임 모음에서 인간 수준의 성능을 입증했다. 이 알고리즘은 전통적으로 상태-행동 가치의 표 형식 표현에 의존하는 고전적 Q-러닝을 확장하여, 신경망을 사용해 Q-함수를 근사함으로써 유사한 상태 간 일반화와 이미지 같은 입력 처리를 가능하게 한다.
Q-러닝에서 Q-함수는 주어진 상태에서 특정 행동을 취했을 때 이후 최적 정책을 따를 경우 기대되는 누적 보상을 추정한다. 유한 마르코프 결정 과정에서 Q-러닝은 무한한 탐험과 적절한 학습률이 주어지면 최적 정책으로 수렴함이 증명되어 있다. 그러나 표 형식 Q-러닝은 상태 공간이 방대할 때, 예를 들어 각 픽셀 구성이 고유한 상태를 구성하는 시각적 작업에서 비실용적이 된다. DQN은 심층 신경망을 훈련하여 상태를 행동 가치에 매핑함으로써 이 문제를 해결하며, 상태 공간을 학습된 특징 표현으로 효과적으로 압축한다.
DQN의 핵심 혁신은 두 가지 안정화 기법, 즉 경험 재생과 타깃 네트워크에 있다. 경험 재생은 과거 전이(상태, 행동, 보상, 다음 상태)를 메모리 버퍼에 저장하고 훈련 중 미니 배치를 무작위로 샘플링하여 연속 샘플 간 상관관계를 깨뜨리고 데이터 효율성을 향상시킨다. 타깃 네트워크는 타깃 Q-값을 계산하는 데 사용되는 주 네트워크의 주기적으로 업데이트되는 복사본으로, 움직이는 타깃을 추적함으로써 발생하는 발산 위험을 줄인다. 이러한 메커니즘은 복잡한 환경에서 알고리즘의 성공에 결정적이었다.
DQN은 이산 행동 공간을 위해 설계되었으며, 네트워크는 각 가능한 행동에 대한 Q-값을 출력한다. 에이전트는 엡실론-탐욕 정책을 사용하여 행동을 선택하며, 탐험(무작위 행동)과 활용(가장 높은 Q-값 선택) 사이의 균형을 맞춘다. 시간이 지남에 따라 엡실론은 감소하여 에이전트가 학습된 지식을 활용하는 방향으로 전환된다. 알고리즘은 예측된 Q-값과 벨만 방정식을 통해 계산된 타깃 값 사이의 평균 제곱 오차를 최소화하여 네트워크를 최적화하며, 미래 보상에 가중치를 부여하는 할인 계수 감마를 사용한다.
역사적 맥락과 영향
2015년 DQN 논문은 인공지능의 이정표를 세웠으며, 단일 알고리즘이 여러 Atari 게임을 처음부터 학습하여 이전 벤치마크를 능가하고 일부 게임에서는 인간 성능을 초과할 수 있음을 보여주었다. 이 연구는 강화 학습과 신경망 함수 근사에 대한 초기 연구, 특히 시각적 입력을 위한 합성곱 네트워크 사용을 기반으로 구축되었다. DQN의 성공은 심층 강화 학습 연구의 물결을 촉발하여 Double DQN, Dueling DQN, Prioritized Experience Replay와 같은 변형을 이끌었으며, 각각 과대추정 편향이나 샘플 효율성과 같은 특정 한계를 해결했다.
알고리즘 세부 사항
DQN 업데이트 규칙은 Q-러닝 벨만 방정식을 따른다. 각 시간 단계에서 에이전트는 상태 \(S_t\)를 관찰하고 행동 \(A_t\)를 선택하며 보상 \(R_{t+1}\)을 받고 \(S_{t+1}\)로 전이한다. 타깃 값은 \(R_{t+1} + \gamma \max_a Q(S_{t+1}, a; \theta^-)\)로 계산되며, 여기서 \(\theta^-\)는 타깃 네트워크 매개변수이다. 주 네트워크 매개변수 \(\theta\)는 손실 \(\mathbb{E}[(\text{target} - Q(S_t, A_t; \theta))^2]\)에 대한 경사 하강법을 통해 업데이트된다. 할인 계수 \(\gamma\)는 일반적으로 0.9에서 0.99 사이로 설정되어 단기 보상을 강조하면서도 장기 이득을 고려한다.
응용 및 한계
DQN은 게임 외에도 로봇 제어, 자원 관리, 자율 주행 등에 적용되었다. 그러나 이산 행동에 대한 의존성은 DDPG나 PPO와 같은 알고리즘이 선호되는 연속 제어 작업에서의 사용을 제한한다. 또한 DQN은 샘플 효율성이 낮고 하이퍼파라미터 튜닝에 민감할 수 있어 학습률, 경험 재생 버퍼 크기, 네트워크 아키텍처의 세심한 조정이 필요하다. 2020년대 중반 기준으로 더 고급 방법이 연구에서 DQN을 대체했지만, DQN은 여전히 기초 교육 도구이자 심층 강화 학습 이해를 위한 벤치마크로 남아 있다.
유산 및 추가 발전
DQN이 도입한 원칙, 즉 경험 재생과 타깃 네트워크는 이후 많은 강화 학습 알고리즘에서 표준 구성 요소가 되었다. 그 성공은 딥러닝과 강화 학습의 결합 가능성을 입증했으며, 버클리 AI 연구와 스탠포드 AI 연구소 같은 기관의 연구에 영향을 미쳤다. 이 알고리즘은 또한 안정적인 훈련 역학의 중요성을 강조했으며, 이는 해당 분야의 연구를 계속 추진하는 과제이다. DQN의 유산은 에이전트가 고차원 감각 입력에서 학습하고 이산 결정을 내려야 하는 영역, 특히 현대 AI 시스템에서 지속되고 있다.