잔여 신경망(Residual Neural Network)은 일반적으로 ResNet으로 알려져 있으며, 층의 입력을 출력에 더하는 스킵 연결(skip connection)을 도입하여 매우 깊은 신경망의 훈련을 가능하게 하는 딥러닝 아키텍처의 한 종류이다. 이 아키텍처는 2015년 이미지 인식 분야에서 개발되었으며, 그 해의 ImageNet 대규모 시각 인식 챌린지(ILSVRC)에서 우승을 차지했다. 핵심 혁신은 잔여 연결로, 층이 입력을 기준으로 잔여 함수를 학습할 수 있게 하여 훈련을 안정화하고 수백 개의 층을 가진 신경망을 구현할 수 있게 한다.
잔여 연결 모티프는 \(x \mapsto f(x) + x\)로 정의되며, 이전 모델에서도 사용된 적이 있었지만 ResNet의 발표로 인해 순방향 신경망에서 널리 보편화되었다. 이후 이는 트랜스포머 모델(BERT, GPT)과 AlphaGo Zero, AlphaStar, AlphaFold와 같은 시스템을 포함한 많은 딥러닝 아키텍처에서 공통적인 구성 요소가 되었다.
수학
잔여 연결
다층 신경망에서 몇 개의 층이 쌓인 하위 네트워크를 \(H(x; \alpha)\)로 나타내자. 여기서 \(x\)는 입력이고 \(\alpha\)는 매개변수이다. 표준 학습에서는 하위 네트워크가 목표 출력 \(H^\)를 근사하는 것을 목표로 한다. 잔여 학습은 하위 네트워크가 \(F(x; \alpha) = H(x; \alpha) + x\)를 출력하도록 수정하여, 최적의 학습 함수가 \(H^ - x\)가 되게 한다. 이는 \(x\)에 대한 잔여로 해석된다. \(x\)의 추가는 항등 매핑을 수행하는 스킵 연결을 통해 구현되며, 하위 네트워크의 입력을 출력에 직접 연결한다. 이 스킵 연결을 잔여 연결이라고 한다. 하위 네트워크와 스킵 연결을 합쳐 잔여 블록이라고 하며, 깊은 잔여 네트워크는 이러한 블록을 여러 개 쌓아 구성된다.
잔여 연결은 기울기 흐름을 원활하게 하여 훈련을 안정화하며, 이는 수백 개의 층을 가진 네트워크에서 특히 중요하다. 장단기 메모리(LSTM) 네트워크에는 잔여 연결과 유사한 역할을 하는 메모리 메커니즘이 있다. 예를 들어, forget gate가 없는 LSTM에서 업데이트 규칙은 \(c_{t+1} = c_t + F(x_t)\)이며, 여기서 \(c_t\)는 메모리 셀이고 \(F\)는 입력의 함수이다. forget gate가 있는 LSTM은 고속도로 네트워크(highway network)와 유사하게 작동한다. 분산을 안정화하기 위해 잔여 연결을 \(1/L\)로 스케일링하는 것이 권장되며, 여기서 \(L\)은 총 잔여 층 수이고 결과는 \(x/L + f(x)\)가 된다.
투영 연결
함수 \(F\)가 \(\mathbb{R}^n\)에서 \(\mathbb{R}^m\)으로 매핑될 때 \(n \neq m\)이면 덧셈 \(F(x) + x\)는 정의되지 않는다. 이러한 경우 투영 연결이 사용된다: \(y = F(x) + P(x)\). 여기서 \(P\)는 일반적으로 \(P(x) = Mx\)로 정의되는 선형 투영이며, \(M\)은 \(m \times n\) 행렬이다. 행렬 \(M\)은 모델의 다른 매개변수와 함께 역전파를 통해 훈련된다.
신호 전파
잔여 연결의 항등 매핑은 순방향 및 역방향 모두에서 신호 전파를 용이하게 한다. 순방향 패스에서 \(\ell\)-번째 잔여 블록의 출력이 \((\ell+1)\)-번째 블록의 입력이 된다고 가정하면(블록 간 활성화 함수가 없다고 가정), 다음 블록의 입력은 \(x_{\ell+1} = F(x_\ell) + x_\ell\)이다. 이러한 덧셈 구조는 정보가 네트워크를 통해 직접 흐르게 하여 기울기 소실 문제를 완화한다.
딥러닝에 미친 영향
2015년 ResNet의 도입은 딥러닝에서 중요한 이정표가 되었다. ResNet 이전에는 층이 깊어질수록 정확도가 저하되는 문제로 인해 매우 깊은 네트워크를 훈련하는 것이 어려웠다. ResNet의 잔여 학습 프레임워크는 층이 잔여 함수를 학습하도록 재구성하여 최적화를 용이하게 함으로써 이 문제를 해결했다. 이 아키텍처는 ILSVRC 2015 챌린지에서 3.57%의 오류율을 기록하며 최첨단 성능을 달성했고, 일부 작업에서는 인간 수준의 성능을 능가했다.
유산과 영향
ResNet의 성공은 ResNet-50, ResNet-101, ResNet-152와 같은 더 깊은 아키텍처의 개발을 촉진했으며, 이들은 객체 감지 및 분할과 같은 컴퓨터 비전 작업에서 백본 네트워크로 널리 사용된다. 잔여 연결 개념은 자연어 처리 및 강화 학습을 포함한 다양한 다른 분야에도 채택되었다.
유산과 영향
잔여 연결은 현대 신경망 설계의 기본 구성 요소가 되었다. 이는 GPT 및 BERT와 같은 대규모 언어 모델을 구동하는 트랜스포머 아키텍처의 핵심 구성 요소이며, AlphaGo Zero, AlphaStar, AlphaFold와 같은 시스템에서도 사용되어 다양한 유형의 신경망에서 그 versatility를 입증한다.
ResNet 논문인 "Deep Residual Learning for Image Recognition"은 Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun이 저술했으며, 컴퓨터 비전 및 딥러닝 분야에서 가장 많이 인용된 논문 중 하나가 되었다. 이 논문은 네트워크 아키텍처와 훈련 안정성에 관한 후속 연구에 큰 영향을 미쳤다.