SAC(Soft Actor-Critic)는 연속 행동 공간을 위해 개발된 강화 학습 알고리즘으로, 2018년 Tuomas Haarnoja와 버클리 AI 연구 연구소의 동료들에 의해 소개되었습니다. 안정성과 샘플 효율성으로 유명하며, 로봇 제어 작업 및 기타 연속 제어 문제에서 널리 선택되는 알고리즘입니다. 이 알고리즘은 최대 엔트로피 강화 학습을 통합한 오프-폴리시 방법으로, 기대 수익과 정책의 엔트로피를 모두 최대화하여 탐험을 장려합니다.
SAC의 핵심 아이디어는 기대 누적 보상과 행동 선택의 무작위성 척도인 엔트로피 사이의 균형을 최대화하는 확률적 정책을 훈련하는 것입니다. 이 엔트로피 항은 다양한 행동을 촉진하여 차선의 정책으로의 조기 수렴을 방지합니다. SAC는 세 가지 주요 구성 요소를 사용합니다: 행동에 대한 확률 분포를 출력하는 액터 네트워크, 상태-행동 가치(Q-값)를 추정하는 두 개의 크리틱 네트워크, 그리고 보상과 엔트로피 사이의 균형을 제어하는 온도 매개변수입니다. 두 개의 크리틱을 사용하면 Q-러닝 기반 방법에서 흔히 발생하는 과대추정 편향을 줄이는 데 도움이 됩니다.
알고리즘 프레임워크
SAC는 액터-크리틱 패러다임 내에서 작동하며, 액터(정책)는 기대 Q-값에 엔트로피 보너스를 더한 값을 최대화하도록 업데이트되고, 크리틱은 시간차 오차를 최소화하도록 업데이트됩니다. 이 알고리즘은 리플레이 버퍼를 사용하여 과거 경험을 저장하며, 이를 통해 오프-폴리시 학습과 향상된 데이터 효율성을 가능하게 합니다. 주요 혁신 중 하나는 엔트로피 항을 가치 추정에 통합하는 소프트 Q-함수의 사용입니다. 온도 매개변수는 훈련 중 목표 엔트로피 수준을 유지하도록 자동으로 조정되어 적응형 탐험을 가능하게 합니다.
정책은 일반적으로 신경망이 출력하는 평균과 분산을 가진 가우시안 분포로 모델링됩니다. 행동은 이 분포에서 샘플링되며, 재매개변수화 트릭을 사용하여 샘플링 과정을 통해 기울기를 계산합니다. 이를 통해 안정적이고 효율적인 정책 업데이트가 가능합니다. 크리틱도 신경망이며, 그 목표 값은 현재 정책의 엔트로피가 강화된 가치를 사용하여 계산되므로 자기 일관성 있는 업데이트 체계를 형성합니다.
훈련 역학 및 안정성
SAC는 하이퍼파라미터 설정에 강건하도록 설계되어, DDPG나 PPO와 같은 초기 알고리즘에 비해 최소한의 튜닝만 필요합니다. 오프-폴리시 특성 덕분에 리플레이 버퍼의 데이터를 재사용할 수 있어 학습 속도가 빨라집니다. 엔트로피 정규화는 정책이 수렴하는 동안에도 탐험을 유지하게 하여 지역 최적점에 갇힐 위험을 줄입니다. 실제로 SAC는 OpenAI Gym MuJoCo 작업과 같은 벤치마크에서 최첨단 성능을 입증했으며, 경쟁 방법보다 적은 샘플로 더 높은 수익을 달성하는 경우가 많습니다.
이 알고리즘의 안정성은 크리틱을 위한 타깃 네트워크 사용으로 더욱 강화되며, 이는 소프트 업데이트(Polyak 평균)를 통해 갱신됩니다. 이는 타깃 값의 분산을 줄이고 훈련을 안정화합니다. 또한 자동 온도 튜닝은 엔트로피 계수가 작업의 난이도에 적응하도록 보장하여, 복잡한 환경에서는 더 많은 탐험을, 단순한 환경에서는 더 적은 탐험을 가능하게 합니다.
응용 및 변형
SAC는 로봇 공학 및 제어 분야에서 널리 채택되었으며, 보행, 조작, 자율 주행과 같은 작업을 포함합니다. 샘플 효율성 덕분에 데이터 수집 비용이 높은 실제 응용 분야, 예를 들어 수술 로봇 및 자율 주행 차량에 적합합니다. 특정 문제를 해결하기 위해 자동 하이퍼파라미터 튜닝을 포함한 SAC, 이산 행동 공간 적응, 다중 에이전트 설정 확장 등 여러 변형이 제안되었습니다. 연구자들은 또한 이미지와 같은 고차원 관측을 처리하기 위해 합성곱 네트워크를 통합하는 딥 러닝 기술과 SAC를 결합했습니다.
인공 지능 분야에서 SAC는 TD3 및 REDQ와 같은 후속 알고리즘에 영향을 미쳤으며, 이는 SAC의 원리를 기반으로 합니다. 최대 엔트로피 강화 학습의 이론적 기반은 머신 러닝의 제어를 넘어서는 탐험 전략, 특히 생성 모델의 탐험 전략에도 영감을 주었습니다.
다른 알고리즘과의 비교
SAC는 PPO와 같은 온-폴리시 방법과 달리 과거 데이터를 재사용할 수 있어 샘플 효율성이 더 높습니다. 결정론적 정책을 사용하는 DDPG와 비교하여 SAC의 확률적 정책은 더 나은 탐험과 강건성을 제공합니다. 그러나 SAC는 두 개의 크리틱과 확률적 액터를 훈련해야 하므로 계산 비용이 더 높습니다. 실제로 SAC는 연속 제어 벤치마크에서 DDPG와 PPO를 모두 능가하는 경우가 많으며, 특히 최종 성능과 학습 속도 측면에서 우수합니다. 엔트로피 기반 탐험은 강화 학습에서 흔한 도전 과제인 보상 희소성에 더 강합니다.
한계 및 향후 방향
장점에도 불구하고 SAC에는 한계가 있습니다. 매우 고차원의 행동 공간에서는 어려움을 겪을 수 있으며, 보상이 희소하거나 시간 지평이 긴 환경에서는 성능이 저하될 수 있습니다. 이 알고리즘은 완전히 관측 가능한 상태를 가정하므로 부분 관측 설정에 직접 적용하는 데 제한이 있으며, 순환 SAC와 같은 확장이 탐구되었습니다. 향후 연구는 확장성 개선, 모델 기반 아이디어 통합, 안전 제약이 있는 실제 로봇 시스템으로의 SAC 확장에 초점을 맞추고 있습니다. 2025년 현재 SAC는 강화 학습의 기초 알고리즘으로 남아 있으며, 학계와 산업계에서 널리 사용되고 있습니다.
참고 문헌 및 영향
원래 SAC 논문인 "Soft Actor-Critic: Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor"는 2018년 제35회 국제 기계 학습 컨퍼런스(ICML)에서 발표되었습니다. 이후 수천 건의 인용을 축적하며 당시 가장 영향력 있는 강화 학습 알고리즘 중 하나가 되었습니다. Stable Baselines3 및 RLlib과 같은 라이브러리의 오픈소스 구현은 클라우드 기반 시뮬레이션부터 클라우드 로봇 연구까지 다양한 분야에서 채택을 촉진했습니다.