앤드류 게르트 바르토(1948년 출생)는 미국의 컴퓨터 과학자이며, 매사추세츠 대학교 애머스트의 컴퓨터 과학 명예 교수이다. 그는 현대 계산 강화 학습의 선구자로 널리 인정받고 있으며, 이 분야는 인공지능과 머신러닝의 많은 발전을 뒷받침한다. 특히 전 박사과정 학생인 리처드 S. 서튼과의 연구를 통해 불확실한 환경에서 에이전트가 보상을 통해 학습하는 방식의 개념적, 알고리즘적 기초를 확립했다.
바르토의 연구는 강화 학습을 이론적 아이디어에서 로봇 공학부터 게임 플레이에 이르는 실용적 알고리즘으로 발전시키는 데 중요한 역할을 했다. 그의 교과서인 강화 학습: 소개는 이 분야의 표준 참고 자료가 되었으며, 그의 공헌은 2024년 ACM A.M. 튜링 상으로 인정받았는데, 이 상은 종종 '컴퓨팅의 노벨상'이라고 불린다.
초기 생애와 교육
앤드류 게르트 바르토는 1948년에 태어났다. 그는 처음에 미시간 대학교에서 조선 공학을 공부했지만, 마이클 아비브, 워렌 스터기스 매컬록, 월터 피츠의 연구를 접한 후 컴퓨터와 수학을 사용하여 뇌를 모델링하는 데 매료되었다. 그는 전공을 바꾸어 1970년에 수학 우등 학사 학위를 받았고, 미시간 대학교에 남아 1975년에 세포 자동자에 관한 논문으로 컴퓨터 과학 박사 학위를 받았다.
매사추세츠 대학교 애머스트에서의 학문적 경력
1977년, 바르토는 매사추세츠 대학교 애머스트의 컴퓨터 및 정보 과학 대학에 박사후 연구원으로 합류했다. 그는 승진을 거듭하여 1982년에 부교수, 1991년에 정교수가 되었다. 그는 2007년부터 2011년까지 학과장을 역임했으며, 신경과학 및 행동 프로그램의 핵심 교수진이었다.
애머스트에서 바르토는 자율 학습 연구소(초기 명칭: 적응 네트워크 연구소)를 공동 지휘했으며, 이 연구소는 강화 학습 연구의 중심지가 되었다. 그의 박사과정 학생인 리처드 서튼은 핵심 아이디어에 대해 협력했으며, 함께 이 분야를 정의하게 될 수학적 프레임워크를 개발했다.
강화 학습의 기초
바르토가 애머스트에서 시작했을 때, 그는 뇌의 뉴런 행동이 지능의 기초가 될 수 있다는 개념을 탐구하는 그룹에 합류했는데, 이 개념은 A. 해리 클로프가 제안한 것이다. 바르토와 서튼은 마르코프 결정 과정을 수학적 기초로 사용하여 에이전트가 확률적 환경에서 각 행동 후 보상을 받으며 결정을 내리는 방식을 설명했다. 전통적인 MDP 이론은 에이전트가 환경에 대한 완전한 지식을 가지고 있다고 가정했지만, 바르토와 서튼의 혁신은 알려지지 않은 환경과 보상을 다룰 수 있게 하여 알고리즘을 다양한 실제 문제에 적용할 수 있게 했다.
그들의 연구는 현대 강화 학습의 토대를 마련했으며, 이후 구글의 알파고가 인간 챔피언을 이기는 등의 돌파구를 가능하게 했다. 이 기술은 현대 AI 붐의 초석이 되었으며, 딥러닝과 신경망 연구에 영향을 미쳤다.
저술 및 영향
바르토는 저널, 서적, 학술 회의 논문집에 100편 이상의 논문을 발표했다. 그의 가장 영향력 있는 저작은 리처드 서튼과 공동 집필한 교과서 강화 학습: 소개로, 1998년에 MIT 출판부에서 초판이 출간되었고 2018년에 제2판이 출간되었다. 그는 또한 제니 시, 워렌 파월, 돈 원치와 함께 근사 동적 프로그래밍 핸드북(Wiley-IEEE Press, 2004)을 공동 편집했다.
그의 연구는 로봇공학, 게임 플레이, 자율 시스템 등 많은 분야에 직접적인 영향을 미쳤으며, 그의 아이디어는 대규모 언어 모델과 생성형 AI 개발에 필수적인 요소가 되었다.
수상 및 영예
바르토는 그의 공헌으로 많은 상을 받았다. 그는 미국 과학 진흥 협회의 펠로우이자 IEEE의 펠로우 및 시니어 멤버이며, 미국 인공지능 협회와 신경과학 학회의 회원이다. 그는 2004년에 IEEE 신경망 학회 선구자 상, 2017년에 IJCAI 연구 우수 상, 2019년에 UMass 신경과학 평생 공로 상을 받았다.
2024년에는 리처드 S. 서튼과 함께 컴퓨팅 기계 협회의 튜링 상을 공동 수상했으며, 수상 이유는 '강화 학습의 개념적, 알고리즘적 기초를 개발한 공로'였다. 이 영예는 그를 이 분야의 기초를 세운 인물로 확고히 자리매김하게 했다.