근접 정책 최적화(PPO)는 지능형 에이전트를 훈련하기 위한 강화 학습(RL) 알고리즘이다. 구체적으로, 이는 정책 네트워크가 매우 클 때 딥 RL에 자주 사용되는 정책 경사법이다. PPO는 2017년에 신뢰 영역 정책 최적화(TRPO)의 근사치로 도입되었으며, 2차 도함수를 계산하는 계산 비용 없이 훈련 안정성을 개선하도록 설계되었다. 2018년 이후 PPO는 OpenAI의 기본 RL 알고리즘이 되었으며, 로봇 팔 제어, 아타리 게임 플레이, OpenAI Five 프로젝트를 통해 Dota 2 프로 선수들을 이기는 등의 분야에 적용되었다.
PPO는 기대 보상의 기울기를 추정하여 정책을 직접 최적화하는 정책 경사법 계열에 속한다. Deep Q-Networks(DQN)와 같은 가치 기반 방법과 달리 PPO는 온-폴리시 알고리즘으로, 현재 정책에서 수집한 데이터를 사용하여 정책을 업데이트한다. 이산 및 연속 행동 공간을 모두 지원하므로 다양한 환경에서 활용도가 높다.
배경: 신뢰 영역 정책 최적화
PPO의 전신인 신뢰 영역 정책 최적화(TRPO)는 2015년에 발표되었다. TRPO는 신뢰 영역 방법을 사용하여 이전 정책과 새 정책 사이의 KL 발산을 제한함으로써 DQN의 불안정성 문제를 해결했다. 이 제약 조건은 업데이트 중에 정책이 너무 급격하게 변하지 않도록 보장하여 안정적인 학습을 유지하는 데 도움이 된다. 그러나 TRPO는 2차 도함수 행렬인 헤세 행렬을 계산하여 이 제약 조건을 강제하므로, 대규모 문제에는 계산 비용이 많이 들고 비효율적이다. 이러한 한계가 TRPO의 제약 조건을 헤세 행렬 없이 근사하는 PPO 개발의 동기가 되었다.
PPO 알고리즘
PPO는 KL 발산 제약 조건을 클리핑된 목적 함수로 대체하여 TRPO를 단순화한다. 핵심 아이디어는 새 정책과 이전 정책 사이의 확률 비율을 클리핑하여 정책 업데이트를 제한하는 것이다. 이 클리핑 메커니즘은 훈련을 불안정하게 만들 수 있는 과도한 업데이트를 방지한다. 목적 함수는 정책 개선에 대한 하한을 제공하도록 설계되어 업데이트가 보수적이면서도 효과적이도록 보장한다.
알고리즘은 일반적으로 다음 단계를 따른다:
- 환경에서 현재 정책을 실행하여 궤적을 수집한다.
- 보상-투-고 및 이점 추정치(예: 일반화된 이점 추정 사용)를 계산한다.
- 클리핑된 대리 목적 함수를 최대화하여 정책을 업데이트하며, 종종 확률적 경사 상승법을 사용한다.
- 선택적으로, 이점 추정을 개선하기 위해 가치 함수를 업데이트한다.
PPO는 TRPO에 비해 단순성과 구현 용이성으로 알려져 있으며, 많은 작업에서 동등하거나 더 나은 성능을 달성한다. 강화 학습 연구에서 표준 기준선이 되었다.
응용 및 영향
PPO는 연구와 산업 분야에서 널리 채택되었다. OpenAI에서는 2018년에 기본 RL 알고리즘이 되었으며, 2019년 Dota 2에서 현 챔피언을 물리친 OpenAI Five와 같은 프로젝트에 사용되었다. PPO는 로봇 제어에도 사용되어 조작 작업을 수행하도록 로봇 팔을 훈련시키고, 많은 타이틀에서 초인간적 성능을 달성한 아타리 게임 플레이에도 적용되었다.
이 알고리즘의 안정성과 샘플 효율성은 특히 인간 피드백 기반 강화 학습(RLHF) 맥락에서 대규모 언어 모델을 미세 조정하는 데 인기 있는 선택이 되었다. 많은 현대 대규모 언어 모델이 PPO 또는 그 변형을 사용하여 정렬되었으며, 이는 생성형 AI 시스템 개발에 기여했다.
다른 방법과의 비교
PPO는 A2C(Advantage Actor-Critic) 및 DDPG(Deep Deterministic Policy Gradient)와 같은 다른 정책 경사 알고리즘과 자주 비교된다. 여러 병렬 환경을 사용하는 A2C와 달리 PPO는 단일 환경에서 작동할 수 있으며 중요도 샘플링을 사용하여 데이터를 재사용한다. 오프-폴리시이고 결정론적인 DDPG와 비교하여 PPO는 온-폴리시이고 확률론적이므로 하이퍼파라미터 변동에 더 강건하다. PPO의 클리핑된 목적 함수는 TRPO의 신뢰 영역에 대한 더 간단한 대안을 제공하여 계산 오버헤드를 줄이면서 안정성을 유지한다.
한계 및 확장
성공에도 불구하고 PPO에는 한계가 있다. 클리핑 매개변수와 이점 추정 방법 선택에 민감할 수 있다. 또한 학습률 및 미니 배치 크기와 같은 하이퍼파라미터의 세심한 조정이 필요하다. 연구자들은 일반화된 이점 추정을 통합하는 PPO-λ와 클리핑 범위를 적응적으로 조정하는 변형과 같은 확장을 제안했다. 또한 PPO의 온-폴리시 특성은 오프-폴리시 방법에 비해 샘플 비효율적일 수 있지만, 이는 종종 안정성으로 상쇄된다.