강화 학습(Reinforcement Learning, RL)은 기계 학습의 한 분야로, 에이전트가 환경 내에서 시행착오를 통해 행동하는 법을 배우며, 각 행동 후 수치적 보상 신호를 받고 시간이 지남에 따라 수집하는 누적 보상을 최대화하도록 행동을 조정하는 방식이다. 지도 학습과 달리, 모델이 각 입력에 대한 올바른 출력을 보여주는 방식이 아니라, 강화 학습은 에이전트에게 올바른 행동을 직접 알려주지 않는다. 단지 행동 시퀀스의 결과가 좋았는지 나빴는지를, 때로는 오랜 시간이 지난 후에만 드러내며, 이러한 구조는 신용 할당 문제(credit assignment problem)로 알려져 있다.
형식적 프레임워크와 역사
강화 학습은 일반적으로 마르코프 결정 과정으로 형식화되며, 에이전트는 상태를 관찰하고, 행동을 선택하고, 보상을 받고, 새로운 상태로 전이하며, 이 루프를 반복하면서 기대 미래 보상을 최대화하도록 상태를 행동에 매핑하는 정책을 학습한다. 이 분야의 수학적 기초는 20세기 중반의 동적 프로그래밍과 최적 제어 이론으로 거슬러 올라가지만, 별개의 기계 학습 학문으로서의 현대적 프레임워크는 리처드 서튼(Richard Sutton)과 앤드류 바토(Andrew Barto)와 밀접하게 연관되어 있으며, 그들의 교과서는 이 분야의 표준 참고 자료가 되었다. 또한 이후 DeepMind의 강화 학습 프로그램을 이끈 연구자들, 특히 데이비드 실버(David Silver)와도 관련이 있다.
획기적 성공 사례
강화 학습의 가장 대중적으로 가시적인 성공은 게임에서 나왔다. AlphaGo는 심층 신경망과 강화 학습, 트리 탐색을 결합하여 2016년 바둑에서 세계 챔피언 이세돌을 꺾었으며, 이 결과는 전문가 예측보다 수년 앞선 것으로 널리 평가되었다. 그 후속 모델인 AlphaZero는 이 접근법을 일반화하여, 인간 게임 데이터 없이 규칙만으로 시작하여 자기 대결만으로 체스, 쇼기, 바둑을 학습했다. 이러한 시스템은 에이전트가 보상 기반 시행착오와 충분한 계산 능력을 결합하여 복잡한 영역에서 초인적 성능에 도달할 수 있음을 보여주었으며, 이는 서튼이 나중에 "쓴 교훈(the bitter lesson)"으로 표현한 아이디어, 즉 계산 능력을 활용하는 일반적 방법이 더 많은 계산이 가능해짐에 따라 수작업으로 설계된 인간 지식에 의존하는 접근법보다 우수한 경향이 있다는 것이다.
기법
강화 학습 알고리즘은 여러 계열로 나뉜다. 가치 기반 방법(예: Q-러닝과 그 심층 학습 확장인 심층 Q-네트워크)은 주어진 상태에서 특정 행동을 취했을 때의 장기적 가치를 추정하는 법을 학습한다. 정책 경사 방법은 행동을 출력하는 정책 함수를 직접 학습하며, 배우-비평가(actor-critic) 방법은 두 접근법을 결합한다. 존 슐먼(John Schulman)이 주로 개발한 근접 정책 최적화(PPO)는 상대적으로 안정적인 훈련 덕분에 가장 널리 사용되는 정책 경사 알고리즘 중 하나가 되었으며, 이후 게임 외부, 특히 대규모 언어 모델의 정렬에서 핵심 역할을 했다.
게임에서 언어 모델로
강화 학습의 관련성은 RLHF (인간 피드백 기반 강화 학습)와 함께 크게 확장되었으며, 여기서 인간 선호 판단으로 훈련된 보상 모델이 수작업으로 코딩된 보상 함수를 대체하고, LLM은 그 학습된 보상 모델에 따라 높은 점수를 얻는 출력을 생성하도록 PPO와 같은 알고리즘으로 미세 조정된다. 이 기법은 원시 사전 훈련된 대규모 언어 모델을 ChatGPT와 같이 지침을 안정적으로 따르는 어시스턴트로 전환하는 데 핵심이었다. 더 최근에는, 수학 문제의 확인 가능한 답변이나 테스트를 통과하거나 실패하는 코드와 같이 자동으로 검증 가능한 결과를 가진 작업에 직접 적용되는 강화 학습이 추론 모델의 핵심 기법이 되었으며, OpenAI o1 및 DeepSeek-R1과 같은 모델이 어려운 문제에서 정확도를 향상시키는 더 긴 추론 체인을 생성하는 법을 학습하며, 이 접근법은 종종 테스트 시 계산이라는 포괄적 용어로 설명된다.
한계
강화 학습은 악명 높게 샘플 비효율적이며, 유사한 기술을 학습하는 데 인간이 필요로 하는 것보다 훨씬 더 많은 시행착오 상호작용을 요구하는 경우가 많다. 또한 보상 해킹에 취약하며, 에이전트가 의도하지 않은 방식으로 보상 신호를 최대화하여 기술적으로는 목표를 충족하지만 그것이 나타내려는 근본적 목표를 실패하게 만드는 경우가 있다. 의도된 행동을 충실히 포착하면서도 최적화 에이전트가 악용할 수 있는 허점을 만들지 않는 보상 함수를 설계하는 것은 여전히 이 분야의 지속적인 공개 과제 중 하나로 남아 있다.