David Rumelhart는 1980년대의 연구로 첫 번째 AI winter 이후 신경망 패러다임을 재개하는 데 기여한 미국의 심리학자이자 인지 과학자였다. 그는 Geoffrey Hinton 및 Ronald J. Williams와 공동 저술한 1986년 논문 "오류 역전파를 통한 표현 학습(Learning representations by back-propagating errors)"으로 가장 잘 알려져 있으며, 이 논문은 다층 네트워크가 오류 기울기를 계층을 통해 역방향으로 전파함으로써 유용한 내부 표현을 학습할 수 있음을 보여주었다.
경력 및 기여
Rumelhart는 1967년 스탠포드 대학교에서 수리 심리학 박사 학위를 취득했으며, 이후 대부분의 경력을 인간 인지 연구에 바쳤고, 이후 마음의 계산 모델로 전환했다. 캘리포니아 대학교 샌디에이고에서 그는 단순한 뉴런 유사 단위들의 네트워크가 Artificial intelligence에 대한 상징적이고 규칙 기반 접근법이 어려움을 겪던 지각, 기억 및 언어의 측면을 설명할 수 있는지 탐구하는 인지 과학자 그룹에 합류했다.
Backpropagation의 수학적 기반은 1970년대 제어 이론 연구에서 이미 설명된 바 있었지만, Rumelhart의 1986년 논문은 이 기법이 단일 계층 Perceptron이 결정적으로 해결할 수 없던 문제를 해결하도록 은닉 계층이 있는 네트워크를 훈련할 수 있음을 입증하여, 퍼셉트론 모델에 대한 유명한 1969년 비판에 직접적으로 대응했다. 이 논문은 James McClelland와 공동 편집한 2권짜리 저서 《병렬 분산 처리(Parallel Distributed Processing)》(1986)와 함께 인지 과학 내 "연결주의" 학파의 창립 텍스트가 되었으며, 신경 계산이라는 신흥 분야에 엄격하고 일반적인 학습 규칙을 제공했다.
Rumelhart는 1987년 스탠포드로 옮겨 언어 습득 및 읽기 네트워크를 포함한 연결주의적 인지 모델 연구를 계속했다. 그의 접근법은 마음을 많은 단순한 단위들이 병렬로 작동하고 경험을 통해 연결 가중치를 조정하는 시스템으로 취급했으며, 이는 수십 년 후 충분한 데이터와 GPU (in AI) 계산 능력이 확보되어 동일한 기본 아키텍처의 훨씬 더 큰 버전을 훈련할 수 있게 된 Deep learning 시대의 많은 부분을 예고했다.
이후 생애 및 유산
1990년대 중반 Rumelhart는 전두측두엽 치매의 한 형태인 피크병 진단을 받았으며, 이로 인해 연구 경력이 끝났다. 그는 2011년에 사망했다. 인지 과학 학회는 2001년 인간 인지의 형식적 분석에 탁월한 기여를 한 사람을 인정하기 위해 David E. Rumelhart Prize를 제정했으며, 역대 수상자 중에는 이후 Machine learning 및 Neural network 연구에서 그의 업적을 발전시킨 연구자들이 여럿 포함되어 있다. 역전파는 적절한 Loss function에 대한 Gradient descent와 결합 및 정제되어, 작은 분류기에서부터 오늘날 가장 큰 Large language model 시스템에 이르기까지 사실상 모든 현대 신경망의 핵심 훈련 방법으로 남아 있다.