1986년, 데이비드 러멜하트(David Rumelhart), 제프리 힌턴(Geoffrey Hinton), 로널드 윌리엄스(R Ronald Williams)는 역전파(backpropagation)를 대중화한 획기적인 논문을 발표했다. 역전파는 신경망에서 기울기를 효율적으로 계산하는 알고리즘이다. 역전파는 미적분의 연쇄 법칙을 적용하여 출력층에서 입력층으로 도함수를 역방향으로 전파하면서 손실 함수의 가중치에 대한 기울기를 계산한다. 이 방법은 중복 계산을 피하여 다층 네트워크를 훈련하는 것을 실용적으로 만든다. 엄밀히 말해 이 용어는 기울기 계산만을 지칭하지만, 확률적 경사 하강법이나 Adam과 같은 최적화 도구를 통한 매개변수 업데이트를 포함한 전체 학습 과정을 포괄적으로 설명하는 데 자주 사용된다. 1986년 논문은 이전의 아이디어를 통합하고 알고리즘의 효율성을 입증하여 머신 러닝에서 널리 채택되는 계기를 마련했으며, 현대 딥 러닝과 인공 지능 응용의 기초를 놓았다.
역사적 배경
역전파는 1986년 이전에 여러 번의 재발견을 거친 복잡한 역사를 가지고 있다. 1960년대와 1970년대의 초기 연구에는 1970년에 역방향 모드 자동 미분을 도입한 세포 린나이마(Seppo Linnainmaa)와 1974년 박사 학위 논문에서 이 알고리즘을 설명한 폴 워보스(Paul Werbos)와 같은 연구자들의 기여가 포함되었다. 그러나 이러한 노력은 상대적으로 잘 알려지지 않았다. 1986년, 러멜하트, 힌턴, 윌리엄스는 Nature 저널에 "오류 역전파를 통한 표현 학습(Learning representations by back-propagating errors)"을 발표하여 알고리즘을 명확히 제시하고 XOR 함수 학습과 같은 문제에서 그 능력을 입증했다. 이 논문과 함께 1986년에 출판된 병렬 분산 처리(Parallel Distributed Processing) 책은 역전파를 신경망 연구의 최전선으로 끌어올렸다. 이 논문의 영향은 접근성과 연결주의 모델에 대한 관심 증가로 증폭되어 1980년대 후반 연구의 급증을 이끌었다.
기술적 기초
역전파는 피드포워드 네트워크의 각 가중치에 대한 손실 함수의 기울기를 계산한다. 입력-출력 쌍 \((x_i, y_i)\)에 대해 네트워크는 가중 합과 활성화 함수의 층을 통해 예측 \(g(x_i)\)을 생성한다. 손실 \(C(y_i, g(x_i))\)은 예측과 목표 사이의 오차를 측정한다. 알고리즘은 출력층에서 역방향으로 작업하면서 연쇄 법칙을 적용하여 각 가중치에 대한 손실의 편도함수를 계산한다. 이를 위해서는 활성화 함수와 손실 함수의 도함수를 평가해야 하며, 이는 미분 가능해야 한다. 일반적인 선택으로는 은닉층에 시그모이드 또는 ReLU 활성화 함수, 손실에 크로스 엔트로피 또는 제곱 오차가 있다. 기울기는 일반적으로 경사 하강법을 사용하여 손실을 줄이기 위해 가중치를 조정할 방향을 나타낸다. 1986년 논문은 역전파가 은닉층에서 내부 표현을 학습할 수 있어 이전에는 다루기 어려웠던 문제를 해결할 수 있게 한다는 점을 강조했다.
영향과 유산
1986년 논문은 신경망 분야의 촉매제였지만, 1990년대에는 당시 하드웨어의 느린 훈련 속도와 심층 네트워크 훈련의 어려움과 같은 한계로 인해 관심이 줄어들었다. 그러나 알고리즘은 여전히 기초적인 것으로 남았다. 2010년대에는 컴퓨팅 성능, 대규모 데이터셋, 배치 정규화 및 잔차 네트워크와 같은 기술의 발전으로 딥 러닝이 부활했으며, 역전파는 핵심 훈련 메커니즘으로 자리 잡았다. 오늘날 역전파는 OpenAI, Anthropic, Google DeepMind가 개발한 대규모 언어 모델과 같은 사실상 모든 현대 AI 시스템과 트랜스포머 및 생성형 AI 도구의 기반이 된다. 알고리즘의 효율성과 일반성은 이를 분야의 표준으로 만들었으며, 모든 머신 러닝 과정에서 가르치고 모든 주요 프레임워크에서 구현한다.
관련 발전
역전파의 성공은 많은 확장과 변형을 촉발했다. 연구자들은 Adam 및 SGD 변형과 같은 개선된 최적화 알고리즘과 드롭아웃 및 가중치 초기화 전략과 같은 정규화 기술을 개발했다. 역전파가 구현하는 역방향 모드 자동 미분 개념은 이제 신경망을 넘어 과학 컴퓨팅에서 널리 사용된다. 힌턴이 근무한 토론토 대학교와 스탠포드 AI 연구소와 같은 기관은 딥 러닝 연구의 허브가 되었다. 1986년 논문은 전환점으로 자주 인용되며, 저자들은 2018년 힌턴이 요슈아 벤지오(Yoshua Bengio)와 얀 르쿤(Yann LeCun)과 함께 딥 러닝에 대한 기여로 튜링상을 수상하는 등 많은 영예를 안았다. 오래되었음에도 불구하고 역전파는 여전히 지배적인 훈련 방법이며, 커리큘럼 학습 및 생물학적 영감을 받은 접근 방식과 같은 대안에 대한 연구가 진행 중이다.