TD3(트윈 딜레이드 딥 결정적 정책 경사)는 연속 행동 공간을 위해 설계된 심층 강화 학습 알고리즘이다. 이는 Deep Deterministic Policy Gradient(DDPG) 방법의 확장판으로, 행위자-비평가 방법에서 일반적으로 성능을 저하시키는 과대평가 편향을 해결하기 위해 도입되었다. TD3는 2018년 논문 "Addressing Function Approximation Error in Actor-Critic Methods"에서 Scott Fujimoto, Herke van Hoof, David Meger에 의해 제안되었다.
이 알고리즘은 행위자-비평가 구조와 세 가지 핵심 수정 사항(클리핑된 이중 Q-학습, 지연된 정책 업데이트, 대상 정책 평활화)을 결합한다. 이러한 변경 사항은 집합적으로 분산을 줄이고 안정성을 향상시켜, TD3를 기계 학습 연구에서 연속 제어 작업의 널리 사용되는 기준선으로 만든다.
핵심 메커니즘
TD3는 표준 강화 학습 프레임워크에서 작동하며, 여기서 에이전트는 누적 보상을 극대화하기 위해 환경과 상호작용한다. 행위자 네트워크는 상태를 행동에 매핑하고, 비평가 네트워크는 상태-행동 쌍에 대한 기대 반환(Q-값)을 추정한다. 단일 비평가를 사용하는 DDPG와 달리, TD3는 두 개의 비평가 네트워크를 유지하고 대상 값을 계산할 때 그들의 추정치의 최솟값을 사용한다. 이 클리핑의 이중 Q 학습은 함수 근사 오류에서 발생하는 발생은 평가 편향을 완화한다.
알고리즘은 또한 정책 업데이트를 지연시킨다: 행위자는 비평가보다 덜 빈주하게 업데이트된다(일반적으로 두 번의 비평가 수정마다). 이를 통해 정책이 조정되기 전에 비평가가 더 정확해질 수 있어 탈안정화 업데이트의 위험을 줄인다. 또한 대상 정책 평활화는 대상 행동에 무작위 노이즈를 작게 추가하여 가치 추정값을 정규화하고 정책이 Q함수의 좁은 정점을 이용하지 못하게 한다.
DDPG와의 비교
DDPG는 2016년에 Timothy P. Lillicrap 등에 의해 도입된, 신경망 망을 사용한 연속 제어의 선구적인 알고리즘이었다. 그러나 종종 Q값의 과대평가로 어려움을 겪어 최적 실적이 좋지 못했다. TD3는 트윈-비평가 메커니즘과 기타 안정화를 통틀어 이 문제를 직접적으로 공략한다. MuJoCo 운동 환경(예: HalfCheetah, Walker2d, Hopper)과 같은 벤치마크 작업에 대한 경험적 연구들은 TD3가 최종 성능과 샘플 효율성 측면에서 모두 DDPG보다 평균적으로 우수함을 보여준다.
정책이 매 단계마다 업데이트되는 DDPG와 달리, TD3의 지연 업데이트는 정책과 가치 함수 업데이트의 상관관계를 줄이고, 이는 안정성 개선에 기여한다. 대상 평활화 항은 또한 AI 정규화 형태로, 지도 학습에서 노이즈를 추가하는 것과 유사하게 작용한다.
구현 세부 사항
실용적으로, TD3는 전환을 저장하기 위해 경험 재 연극 버퍼를 사용하며, 여기서 미니 배치가 훈련을 위해 샘플링된다. 두 비평가 네트워크는 두 대상 비평가의 출력의 최솟값으로 계산된 동일한 대상 값을 사용하여 업데이트된다. 행위자는 결정적 정책 경사도를 사용하여 업데이트되지만, 비평가 업데이트의 일정 수 후에만 실행된다. 행위자와 비평가를 위한 대상 네트워크는 일반적으로 0.005의 작은 뇌 파라미터와 함께 소프트 업데이트(Polyak 평균화)를 통해 업데이트된다.
알고리즘의 하이퍼파라미터는 일반적으로 표준이다: 비평가의 경우 학습률 약 1e-3, 행위자의 경우 1e-4, 할인 계수 0.99, 데이터 256. 탐색 노이는 표준 편차 0.1의 가우스 확률 분포를 따르고, 대상 평평화 노이즈는 표준 편차 0.2이며 -0.5에서 0.5까지 클립된다.
응용 및 영향
TD3는 강화 학습 연구에서 표준 기준이 되었고, 특히 로봇공학 및 제어 작업에서 두드러지게 사용된다. 이는 Berkeley AI Research 및 기타 학술 연구소에서 새로운 알고리즘을 기준으로 측정하기 위해 흔하게 사용된다. 그 원칙은 소프트 규사자-비평가(SAC)과 같은 이후 방법에 영향을 주었다. SAC는 또한 과소추장 문제를 해결하지만 트윈 비평가가 아닌 엔트로피 정규화를 통한다.
알고리즘은 자율 주행 및 로봇 수술 연구를 위한 시뮬레이션 환경에서 적용되었지만, 실세계 배포는 여전히 제한적. 산업에서는 OpenAI 및 Google DeepMind가 연속 제어를 위한 유사한 행위자-비평가 방법을 단계적으로 탐구했지만, TD3 자체와 관련이 있으며. 주로 연구 도구로 사용된다.
한계 및 확장
TD3는 환경이 마르코프 성질을 가진다'고 정책이 결정적이다'는 가정 하에 동작하여 탐욕이 제한될 수 있다. 변형된 버전(예: 접지식 학습)인 TD3+BC(접지식 복제 사용)는 고정된 데이터세트, 즉 오프라인 강화 학습을 위해 제안되었다. 기타 확장으로는 분산 비평가 및 앙상블 방식을 통해 변량을 더욱 줄이는 것이 포함된다.
그의 우수성에도 불구하고, TD3는 하이퍼파라미터 튜닝에 민감할 수 있고 고차원 또는 부분적으로 충치가 있는 환경에서 어려움을 겪을 수 있다. 연구자들은 여전히 그 프레임워크를 기반으로 구축하고 있으며, 현대 심층 강화 학습의 기초가 되는 기여 중 하나이다.
참조
- Deep reinforcement learning
- Actor-critic methods
- Continuous control
- Soft Actor-Critic.