리처드 서튼은 현대 강화학습의 창시자 중 한 명으로 널리 인정받는 컴퓨터 과학자이다. 강화학습은 보상 신호로부터 시행착오를 통해 학습하는 에이전트를 다루는 머신러닝의 한 분야이다.
경력 및 기여
서튼은 1984년 매사추세츠 대학교 애머스트에서 앤드류 바토와 함께 연구하여 컴퓨터 과학 박사 학위를 받았으며, 그와 함께 시간차(TD) 학습을 개발했다. 시간차 학습은 최종 결과를 기다리는 대신 연속적인 예측 간의 차이를 기반으로 가치 추정치를 갱신하는 방법으로, 강화학습의 핵심 알고리즘 아이디어 중 하나가 되었다. 이후 이는 1990년대 제럴드 테사우로의 백개먼 플레이 시스템 TD-Gammon부터 수십 년 후 구글 딥마인드에서 서튼의 지도를 받은 데이비드 실버를 포함한 연구자들이 개발한 알파고와 그 후속작에 이르기까지 신경망 함수 근사와 결합되었다. 서튼과 바토의 교과서인 『강화학습: 서론』은 1998년 초판 출간 이후 이 분야의 표준 참고 자료로 남아 있다.
서튼은 이후 경력의 상당 부분을 앨버타 대학교 교수이자 구글 딥마인드 앨버타 연구소의 저명 연구 과학자로 보냈으며, 캐나다를 강화학습 연구의 중심지로 만드는 데 기여한 허브 중 하나인 앨버타 기계지능 연구소(Amii)의 최고 과학 고문을 맡고 있다.
"쓴 교훈"
2019년, 서튼은 "쓴 교훈"이라는 제목의 짧고 널리 논의된 에세이를 발표했다. 이 에세이는 AI 연구의 역사 전반에 걸쳐 탐색과 학습처럼 증가하는 계산 능력을 활용하는 범용 방법이 인간의 도메인 지식을 수작업으로 인코딩하는 접근 방식보다 일관되게 더 나은 성과를 냈으며, 연구자들이 이를 이해를 포기하는 것처럼 느껴질 수 있기 때문에 이 교훈에 반복적으로 저항한다고 주장한다. 이 에세이는 스케일링 법칙과 대규모 언어 모델 시스템 설계에 관한 논쟁에서 시금석이 되었으며, 수작업으로 만든 휴리스틱보다 규모와 일반 알고리즘을 우선시해야 한다는 근거로 자주 인용된다. 또한 검증 가능한 작업에 대한 강화학습 방식의 훈련을 사용하는 테스트 시 계산 및 추론 모델 시스템에 관한 최근 연구와 함께 자주 읽힌다.
서튼은 2024년 앤드류 바토와 함께 "강화학습의 개념적 및 알고리즘적 기초를 개발한 공로"로 튜링상을 공동 수상했다. 이는 RLHF를 포함한 강화학습 기법이 게임 플레이 시스템뿐만 아니라 현대 대화형 AI의 행동 정렬에도 핵심이 된 시점에 이루어진 인정이었다.