ResNet 논문은 공식적으로 "Deep Residual Learning for Image Recognition"이라는 제목으로, 2015년 마이크로소프트 리서치의 연구자들에 의해 발표되었다. 이 논문은 잔차 신경망(ResNet)을 소개했는데, 이는 Deep learning 아키텍처로, 층들이 층 입력을 참조하여 잔차 함수를 학습한다. 이 논문은 2015년 ImageNet 대규모 시각 인식 챌린지(ILSVRC)에서 우승하여 top-5 오류율 3.57%를 달성했으며, 해당 벤치마크에서 인간 수준의 성능을 능가했다. 이 논문의 핵심 혁신인 잔차 연결은 이후 Neural network 설계에서 기본적인 모티프가 되었다.
잔차 연결은 \(x \mapsto f(x) + x\)라는 아키텍처 연산으로, 여기서 \(f\)는 임의의 신경망 모듈이다. 네트워크는 참조되지 않은 매핑 \(H(x)\)를 학습하는 대신 잔차 \(F(x) = H(x) - x\)를 학습하며, 입력 \(x\)는 항등 스킵 연결을 통해 더해진다. 이는 수백 개의 층을 가진 네트워크의 훈련과 수렴을 안정화하는데, 이는 이전에 소실 그라디언트와 성능 저하로 인해 깊이를 제한했던 문제였다. 이 아이디어는 장단기 메모리(LSTM) 셀과 같은 초기 연구에 선례가 있었는데, LSTM은 잔차 경로와 유사한 덧셈적 메모리 업데이트를 사용하지만, ResNet은 피드포워드 네트워크에서 이 모티프를 대중화했다.
아키텍처와 잔차 블록
잔차 블록은 매개변수 \(\alpha\)를 가진 서브네트워크 \(H(x; \alpha)\)로 구성되며, 일반적으로 두세 개의 쌓인 합성곱 또는 완전 연결 층과 활성화 함수 및 정규화(예: 배치 정규화)가 번갈아 배치된다. 블록 출력은 \(F(x) = H(x; \alpha) + x\)이다. 심층 잔차 네트워크는 이러한 블록을 많이 쌓으며, ResNet-34, ResNet-50, ResNet-101, ResNet-152와 같은 변형은 층 수를 나타낸다. 152층 버전은 ILSVRC 2015에서 우승했으며, 논문은 더 깊은 잔차 네트워크가 이전에 관찰된 성능 포화와 달리 더 얕은 비잔차 대응 네트워크보다 우수함을 입증했다.
입력과 출력 차원이 다를 때(\(F: \mathbb{R}^n \to \mathbb{R}^m\), \(n \neq m\)), 투영 연결이 사용된다: \(y = F(x) + P(x)\), 여기서 \(P(x) = Mx\)는 형태가 \(m \times n\)인 학습된 선형 투영 행렬 \(M\)이며, 역전파를 통해 훈련된다. 이는 합성곱 네트워크에서 다운샘플링 시 흔한 특징 맵 크기 변화에 걸친 잔차 학습을 가능하게 한다.
신호 전파와 훈련 안정성
잔차 연결의 항등 매핑은 순방향 및 역방향 모두에서 신호 전파를 용이하게 한다. 순방향 전파에서 블록 \(\ell\)의 출력이 블록 \(\ell+1\)의 입력이라면(중간 활성화 없이), \(x_{\ell+1} = F(x_\ell) + x_\ell\)이다. 이 덧셈적 구조는 역전파 중 그라디언트가 더 이른 층으로 직접 흐를 수 있게 하여 소실 그라디언트 문제를 완화한다. 논문은 수백 개의 층을 가진 잔차 네트워크가 효과적으로 훈련될 수 있음을 보여주었지만, 일반 심층 네트워크는 깊이가 증가함에 따라 훈련 오류가 증가했다.
분산을 더욱 안정화하기 위해, 이후 연구에서는 잔차 연결을 \(x/L + f(x)\)로 스케일링할 것을 권장했으며, 여기서 \(L\)은 총 잔차 층 수이다. 그러나 원래 ResNet 논문은 스케일링되지 않은 덧셈을 사용했다. 이 스케일링은 매우 깊은 트랜스포머 및 기타 아키텍처에서 중요해졌다.
딥러닝에 미친 영향
ResNet의 발표는 Artificial intelligence 연구의 전환점이 되었으며, 훨씬 더 깊은 모델의 구축을 가능하게 했다. 잔차 연결은 BERT 및 GPT와 같은 Transformer (architecture) 모델(예: ChatGPT와 같은 Large language model 시스템)과 Google DeepMind의 AlphaGo Zero, AlphaStar, AlphaFold를 포함한 수많은 아키텍처에서 표준 구성 요소가 되었다. 이 모티프는 Computer vision에서 자연어 처리에 이르기까지 겉보기에 무관한 네트워크에 나타나는데, 이는 최적화를 단순화하고 매우 깊은 스택의 효과적인 훈련을 가능하게 하기 때문이다.
이 논문은 또한 하드웨어 및 소프트웨어 개발에 영향을 미쳤는데, 더 깊은 모델을 훈련하려면 더 많은 컴퓨팅이 필요했기 때문에 AWS Trainium과 같은 특수 가속기와 Microsoft Azure 및 Google Cloud와 같은 클라우드 서비스의 부상에 기여했다. University of Toronto, Stanford AI Lab, MIT CSAIL의 연구 그룹은 후속 연구에서 잔차 네트워크를 채택하여 현대 Machine learning 실무에서 그 역할을 공고히 했다.
유산과 인정
2025년까지 ResNet 논문은 수만 건의 인용으로 컴퓨터 과학에서 가장 많이 인용된 논문 중 하나가 되었다. Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun을 포함한 저자들은 2023년 IEEE Frank Rosenblatt Award를 포함한 수많은 상을 받았다. 이 아키텍처는 이미지 분류 작업의 기준선으로 남아 있으며, 그 원리는 많은 최첨단 시스템의 기반이 된다. "잔차 연결"이라는 용어는 이제 딥러닝 교과서와 강좌에서 표준 용어이며, 항등 매핑에 대한 논문의 통찰은 네트워크 깊이와 훈련 가능성에 대한 연구에 계속 영향을 미치고 있다.
이 논문의 성공은 또한 더 깊은 아키텍처에 대한 관심을 촉발하여 DenseNet 및 ResNeXt와 같은 혁신으로 이어졌지만, 어느 것도 근본적인 잔차 아이디어를 대체하지 못했다. 2025년 현재 잔차 연결은 OpenAI의 모델부터 Anthropic의 Claude에 이르기까지 생산 AI 시스템에서 널리 사용되며, 2015년 연구의 지속적인 영향을 보여준다.