딥 잔차 학습(Deep Residual Learning)은 일반적으로 ResNet으로 알려져 있으며, 2015년 이미지 인식용으로 도입된 딥러닝 아키텍처이다. 이는 그 해 ImageNet 대규모 시각 인식 챌린지(ILSVRC)에서 우승하여 수백 개의 레이어를 가진 네트워크를 효과적으로 훈련할 수 있음을 입증했다. 핵심 혁신은 잔차 연결로, 레이어가 입력을 기준으로 잔차 함수를 학습할 수 있게 하여 매우 깊은 신경망에서 훈련과 수렴을 안정화한다.
잔차 연결 모티프는 \(x \mapsto f(x) + x\)로 정의되며, 여기서 \(f\)는 임의의 신경망 모듈이다. 이는 이전 연구에서 사용된 바 있지만, ResNet의 발표로 인해 피드포워드 네트워크에서 널리 대중화되었다. 이 모티프는 이제 ResNet과 겉보기에 무관한 많은 아키텍처에 나타나며, BERT 및 GPT와 같은 트랜스포머 모델뿐만 아니라 AlphaGo Zero, AlphaStar, AlphaFold와 같은 시스템에도 포함된다.
잔차 연결의 수학
다층 신경망에서 적층된 레이어(예: 2개 또는 3개)를 가진 하위 네트워크를 고려하자. \(H(x; \alpha)\)를 하위 네트워크라고 하면, 여기서 \(x\)는 입력이고 \(\alpha\)는 매개변수 집합이다. \(H^\)가 원하는 최적 출력이라면, 잔차 학습은 \(x\)를 출력에 직접 추가하여 최적 학습 출력이 \(H^ - x\)가 되도록 하며, 이는 \(x\)에 대한 "잔차"로 해석된다. 이는 하위 네트워크의 입력에서 출력으로의 항등 매핑을 수행하는 스킵 연결을 통해 구현된다.
함수 \(F(x; \alpha) = H(x; \alpha) + x\)는 종종 활성화 함수와 배치 정규화 또는 레이어 정규화와 같은 정규화 연산이 인터레이스된 행렬 곱셈으로 표현된다. 잔차 블록은 이러한 하위 네트워크 중 하나이며, 깊은 잔차 네트워크는 이러한 블록을 적층하여 구성된다.
장단기 메모리(LSTM) 네트워크는 잔차 연결 역할을 하는 메모리 메커니즘을 가지고 있다. 망각 게이트가 없는 LSTM에서 입력 \(x_t\)는 함수 \(F\)에 의해 처리되고 메모리 셀 \(c_t\)에 추가되어 \(c_{t+1} = c_t + F(x_t)\)가 된다. 망각 게이트가 있는 LSTM은 본질적으로 고속도로 네트워크로 기능한다.
레이어 입력의 분산을 안정화하려면 잔차 연결 \(x + f(x)\)를 \(x/L + f(x)\)로 대체하는 것이 권장되며, 여기서 \(L\)은 총 잔차 레이어 수이다.
투영 연결
함수 \(F\)가 \(n \neq m\)인 \(\mathbb{R}^n\)에서 \(\mathbb{R}^m\)으로 매핑될 때, 표현식 \(F(x) + x\)는 정의되지 않는다. 이 경우 투영 연결이 사용된다: \(y = F(x) + P(x)\), 여기서 \(P\)는 일반적으로 \(P(x) = Mx\)로 정의되는 선형 투영이며, \(M\)은 \(m \times n\) 행렬이다. 행렬 \(M\)은 다른 모델 매개변수와 마찬가지로 역전파를 통해 훈련된다.
신호 전파
항등 매핑의 도입은 순방향 및 역방향 경로 모두에서 신호 전파를 용이하게 한다. 순방향에서 \(\ell\)-번째 잔차 블록의 출력이 \((\ell+1)\)-번째 블록의 입력이라면(블록 간 활성화가 없다고 가정), 다음 블록의 입력은 \(x_{\ell+1} = F(x_\ell) + x_\ell\)이다. 이 덧셈 구조는 역전파 중에 그래디언트가 네트워크를 통해 직접 흐를 수 있게 하여, 이전의 깊은 아키텍처를 괴롭혔던 기울기 소실 문제를 완화한다.
영향과 유산
ILSVRC 2015에서의 ResNet의 성공은 컴퓨터 비전과 인공지능의 전환점이 되었다. 이는 훈련 정확도의 저하로 인해 이전에는 불가능했던 수백 개의 레이어를 가진 네트워크 훈련을 가능하게 했다. 잔차 연결은 이후 자연어 처리 및 생성형 AI에 사용되는 모델을 포함한 많은 딥러닝 모델의 표준 구성 요소가 되었다.
이 아키텍처의 영향은 이미지 인식에 국한되지 않는다. 잔차 연결은 현대 대규모 언어 모델 및 기타 시퀀스 기반 모델에 필수적이며, 많은 레이어에 걸쳐 안정적인 훈련을 유지하는 데 도움을 준다. 전체 변환 대신 잔차를 학습하는 원리는 U-Net 및 기타 인코더-디코더 설계와 같은 변형에도 영감을 주었다.
ResNet은 딥러닝의 기초적인 참고 자료로 남아 있으며, 그 설계 원리는 머신러닝 분야 전반의 강의에서 가르쳐지고 연구에 적용된다. 잔차 연결의 단순성과 효과성은 이를 분야에서 가장 지속적인 기여 중 하나로 만들었다.