역강화학습(IRL)은 기계 학습의 하위 분야로, 지능형 에이전트의 관찰된 행동(일반적으로 시연 형태)으로부터 보상 함수를 추론하는 것을 목표로 한다. 에이전트가 알려진 보상 신호를 최대화하기 위해 정책을 학습하는 표준 강화 학습과 달리, IRL은 역문제를 다룬다: 주어진 전문가 궤적 집합으로부터 전문가가 암묵적으로 최적화하고 있는 보상 함수를 복구하는 것이다. 이는 로봇 공학, 자율 주행, 인간 행동 모델링과 같이 보상 함수를 수동으로 지정하기 어려운 시나리오에서 특히 유용하다. IRL은 견습 학습과 밀접한 관련이 있으며, 여기서 목표는 종종 먼저 보상 함수를 복구한 다음 이를 최적화하여 시연으로부터 정책을 학습하는 것이다.
IRL의 공식적인 설정은 일반적으로 상태 공간, 행동 공간, 전이 확률, 보상 함수로 정의되는 마르코프 결정 과정(MDP)이다. 표준 RL에서는 보상 함수가 주어지고 에이전트는 최적 정책을 찾는다. IRL에서는 보상 함수가 알려져 있지 않으며, 알고리즘은 관찰된 상태-행동 쌍으로부터 이를 추정해야 한다. 관찰된 행동은 실제 보상 함수에 대해 거의 최적이라고 가정되지만, 실제로 시연은 노이즈가 있거나 차선일 수 있다. IRL 알고리즘은 종종 보상에 대한 불확실성을 모델링하기 위해 베이지안 학습 메커니즘의 기법이나, 데이터를 설명하는 보상을 찾기 위한 최적화 기법을 사용한다.
역사적 배경
역강화학습의 개념은 1990년대 후반과 2000년대 초반에 공식화되었다. 2000년 앤드류 응과 스튜어트 러셀의 획기적인 논문이 이 문제를 소개하고 선형 계획법에 기반한 알고리즘을 제안했다. 이후 피터 아벨과 앤드류 응(2004)은 IRL을 사용하여 전문가 성능과 일치하는 정책을 학습하는 견습 학습 프레임워크를 개발했다. 이 연구는 최대 엔트로피 IRL(Ziebart et al., 2008)과 베이지안 IRL(Ramachandran and Amir, 2007)을 포함한 많은 후속 접근법의 기초를 마련했다. 이러한 방법은 로봇이 인간 시연으로부터 작업을 학습하는 로봇 공학과 전략적 행동을 모델링하는 게임 이론과 같은 분야에 적용되었다.
핵심 알고리즘
IRL에는 여러 알고리즘 계열이 존재한다. 응과 러셀이 제안한 가장 초기의 접근법은 특징에 대한 선형 보상 함수를 가정하고 선형 계획법을 사용하여 전문가의 정책을 최적으로 만드는 보상을 찾는다. 견습 학습 알고리즘은 전문가의 특징 기대값과 학습자의 특징 기대값 사이의 마진을 최대화하는 정책을 반복적으로 계산하여 보상 추정치를 개선한다. 최대 엔트로피 IRL은 전문가의 행동을 궤적에 대한 확률 분포로 모델링하며, 누적 보상이 높을수록 확률이 높아지고, 경사 기반 최적화를 사용하여 보상 매개변수를 적합시킨다. 베이지안 IRL은 보상을 사전 분포를 가진 확률 변수로 취급하고, 관찰된 시연이 주어졌을 때 사후 분포로 업데이트하여 불확실성의 척도를 제공한다. 더 최근의 방법은 고차원 상태 공간을 처리하기 위해 딥 러닝을 통합하며, 심층 IRL과 적대적 IRL은 신경망을 사용하여 보상 함수를 표현한다.
응용 분야
IRL은 다양한 분야에서 응용되고 있다. 로봇 공학에서는 수작업 보상 함수의 필요성을 피하면서 인간 시연으로부터 조작 또는 내비게이션 작업을 학습할 수 있게 한다. 자율 주행에서는 기록된 궤적으로부터 운전자 선호도를 추론하여 더 인간적인 주행 정책을 설계하는 데 도움을 준다. 인간 행동 모델링에서는 경제적 또는 사회적 맥락에서 의사 결정을 이해하는 데 IRL이 사용된다. 또한 강화 학습과 게임 이론에서 상대방의 전략을 모델링하는 데 적용되었다. 의료 분야에서는 임상 결정으로부터 환자 선호도를 추론하여 맞춤형 치료를 개선할 수 있다. 그러나 IRL은 특히 큰 상태 공간에서 계산적으로 어려우며, 종종 세심한 특징 엔지니어링이나 함수 근사가 필요하다.
과제와 한계
IRL의 근본적인 과제는 문제의 부정성(ill-posed nature)이다: 동일한 관찰된 행동을 설명할 수 있는 많은 보상 함수가 존재한다. 예를 들어, 모든 곳에서 0인 보상은 어떤 정책도 최적으로 만들므로 추가 가정이나 사전 분포가 필요하다. 일반적인 해결책으로는 전문가가 최적이라고 가정하거나, 최대 엔트로피를 사용하여 가장 편향되지 않은 보상을 선택하거나, 사전 지식을 통합하는 것이 있다. 또 다른 문제는 충분하고 다양한 시연의 필요성이다; 전문가가 좁은 범위의 행동만 보여주면 추론된 보상이 과적합될 수 있다. 확장성도 문제인데, 많은 IRL 알고리즘은 RL 문제를 반복적으로 해결해야 하므로 비용이 많이 든다. 마지막으로 IRL은 전문가의 행동이 단일 보상 함수와 일관적이라고 가정하지만, 이는 다중 에이전트 또는 비정상적 설정에서는 성립하지 않을 수 있다.
다른 학습 패러다임과의 관계
IRL은 지도 학습과 강화 학습 사이에 위치한다. 상태를 행동에 직접 매핑하는 지도 학습과 달리, IRL은 보상 함수 형태의 더 깊은 설명 모델을 추구한다. 알려진 보상을 가정하는 표준 RL과 달리, IRL은 이 가정을 완화한다. 또한 레이블이 없는 데이터에서 잠재 구조(보상)를 추출한다는 점에서 비지도 학습과 관련이 있지만, 데이터는 일반적으로 순차적이다. IRL은 정보 제공 시연을 선택하기 위해 능동 학습과 결합되거나, 매우 적은 예제로 보상을 추론하기 위해 퓨샷 학습과 결합될 수 있다. 인공지능의 더 넓은 맥락에서 IRL은 견습 학습의 핵심 구성 요소이며, 심층 강화 학습 파이프라인에서 보상 함수를 초기화하거나 형성하는 데 사용된다.