TRPO

Trust Region Policy Optimization(TRPO)은 순차적 의사 결정을 내리도록 지능형 에이전트를 훈련시키기 위한 강화 학습(RL) 알고리즘이다. 이는 정책 경사법(policy gradient method)으로, 정책 네트워크가 클 때 딥 러닝 기반 강화 학습에서 자주 사용되며, 초기 알고리즘의 불안정성 문제에 대응하기 위해 2015년에 도입되었다. TRPO는 각 업데이트에서 신뢰 영역(trust region)을 사용하여 정책의 변화를 제한하는데, 이는 이전 정책과 새 정책 사이의 Kullback-Leibler(KL) 발산을 제한하여 더욱 안정적인 개선을 보장한다.

TRPO는 온-폴리시(on-policy) 알고리즘으로, 현재 정책에서 수집된 데이터를 사용하여 정책을 업데이트한다. 이산 또는 연속 행동 공간을 가진 환경 모두에 적용할 수 있다. 이 알고리즘은 반복적으로 궤적을 수집하고, 이점(advantage)을 추정하며, 정책 경사를 계산한 다음, 제약 최적화 단계를 적용하여 정책 매개변수를 업데이트한다.

배경 및 동기

강화 학습은 시행착오를 통해 누적 보상을 최대화함으로써 에이전트를 훈련시키는 것을 목표로 한다. Deep Q-Network(DQN)와 같은 초기 딥 러닝 기반 강화 학습 방법은 주목할 만한 성공을 거두었지만 훈련 중 불안정성을 겪었다. 2013년 Google DeepMind 연구진이 도입한 DQN은 신경망을 사용하여 Q-가치 함수를 근사했지만 불규칙한 업데이트를 보일 수 있었다. TRPO는 더욱 안정적인 정책 업데이트 메커니즘을 제공함으로써 이러한 문제를 해결하기 위해 개발되었다.

TRPO의 핵심 아이디어는 단일 업데이트에서 정책이 얼마나 변할 수 있는지를 제한하는 것이다. 이는 이전 정책과 새 정책 사이의 KL 발산에 제약을 부과함으로써 달성된다. 정책을 신뢰 영역 내에 유지함으로써, TRPO는 순진한 정책 경사법에서 발생할 수 있는 크고 파괴적인 업데이트를 피한다.

알고리즘 세부 사항

TRPO는 환경에서 현재 정책을 실행하여 일련의 궤적을 반복적으로 수집함으로써 작동한다. 각 궤적에 대해 보상-대-이동(rewards-to-go)과 이점 추정치를 계산하는데, 이는 행동이 평균에 비해 얼마나 더 나은지를 측정한다. 그런 다음 정책 경사는 이러한 이점으로 가중치가 부여된 행동의 로그 확률의 기대 경사로 추정된다.

핵심적인 계산 문제는 KL 발산 제약을 적용하는 것이다. TRPO는 KL 발산의 헤세 행렬(Hessian matrix) - 2차 도함수 행렬 - 을 사용하여 제약을 근사한다. 그러나 대규모 문제의 경우 헤세 행렬을 직접 계산하는 것은 계산 비용이 많이 든다. 이를 완화하기 위해 TRPO는 켤레 기울기(conjugate gradient) 알고리즘을 사용하여 결과 선형 시스템을 근사적으로 풀어 전체 헤세 행렬을 명시적으로 구성할 필요를 피한다. 또한, 역추적 선 탐색(backtracking line search)을 통해 업데이트된 정책이 제약 조건을 충족하도록 보장한다.

PPO와의 관계

TRPO는 2017년에 발표된 Proximal Policy Optimization(PPO)의 직접적인 전신이다. PPO는 KL 발산 제약을 클리핑된 목적 함수로 근사하여 TRPO를 단순화하며, 헤세 행렬을 계산할 필요를 제거한다. 이로 인해 PPO는 계산적으로 더 효율적이고 구현하기 쉬우면서도 유사한 안정성 이점을 유지한다. 2018년 이후 PPO는 OpenAI의 기본 강화 학습 알고리즘이 되었으며, 로봇 팔 제어, Atari 게임 플레이, OpenAI Five 프로젝트의 일환으로 Dota 2에서 프로 선수들을 이기는 것 등 다양한 작업에 적용되었다.

PPO의 인기에도 불구하고, TRPO는 강화 학습에서 여전히 중요한 기반 알고리즘으로 남아 있다. 신뢰 영역 접근 방식은 이후 많은 방법에 영향을 주었으며, 추가 계산 비용이 허용되는 시나리오에서 여전히 사용된다.

응용 및 영향

TRPO는 보행 및 조작과 같은 다양한 연속 제어 작업에 적용되었으며, 여기서 안정적인 정책 업데이트가 중요하다. 또한 복잡한 환경에서 정책 최적화를 연구하기 위한 연구 환경에서도 사용되었다. 단조 개선(monotonic improvement)에 대한 알고리즘의 강조는 새로운 강화 학습 방법을 비교하기 위한 벤치마크가 되었다.

기계 학습 및 인공 지능의 더 넓은 맥락에서 TRPO는 강화 학습에서 신경망을 위한 더욱 견고한 훈련 기법 개발에 기여했다. 그 아이디어는 수많은 후속 연구에서 확장되고 적응되어 딥 러닝 기반 강화 학습 역사에서 그 위치를 공고히 했다.

한계

TRPO의 주요 한계는 헤세 행렬 계산과 켤레 기울기 반복으로 인한 계산 오버헤드이다. 이는 특히 정책 네트워크가 매우 클 때 PPO와 같은 더 간단한 방법보다 느리게 만든다. 또한 TRPO는 KL 발산 한계 및 역추적 계수와 같은 하이퍼파라미터의 세심한 조정이 필요하며, 이는 성능에 영향을 미칠 수 있다.

이러한 단점에도 불구하고, TRPO의 이론적 보장과 안정성 특성은 정책 최적화를 이해하는 데 귀중한 도구가 되었다. 이는 해당 분야에서 새로운 알고리즘을 평가하기 위한 기준점으로 남아 있다.