잔여 연결(residual connection)은 딥러닝에서 층의 입력이 출력에 직접 더해져 네트워크가 전체 변환 대신 잔여 함수를 학습할 수 있게 하는 기본적인 아키텍처 모티프이다. 공식적으로, 입력 \(x\)와 하위 네트워크 \(f\)에 대해 잔여 연결은 \(f(x) + x\)를 계산한다. 이 단순한 덧셈은 훈련을 안정화하고 수백 또는 수천 개의 층을 가진 신경망의 구축을 가능하게 하며, 그렇지 않으면 성능 저하와 기울기 소실 문제를 겪게 된다. 이 개념은 2015년 잔여 네트워크(ResNet) 아키텍처에 의해 대중화되었으며, 그 해 ImageNet 대규모 시각 인식 챌린지(ILSVRC)에서 우승했고, 이후 딥러닝 시스템, 트랜스포머 모델 및 대규모 언어 모델을 포함한 현대 시스템에서 보편적인 구성 요소가 되었다.
"잔여 연결"이라는 용어는 구체적으로 \(x \mapsto f(x) + x\) 매핑을 지칭하며, 여기서 \(f\)는 임의의 신경망 모듈이다. 이 모티프는 장단기 메모리(LSTM) 네트워크와 같은 초기 연구에서 사용되었지만, ResNet의 발표로 피드포워드 네트워크에서 널리 채택되었다. 오늘날 잔여 연결은 ResNet과 무관해 보이는 아키텍처, 즉 생성형 AI 모델, 이미지 인식을 위한 신경망 시스템, 다양한 영역의 머신러닝 응용 프로그램에도 나타난다.
잔여 연결의 수학
다층 신경망에서 입력 \(x\)를 출력 \(H(x; \alpha)\)로 매핑하는 적층된 층(예: 2~3개 층)을 가진 하위 네트워크를 고려하자. 여기서 \(\alpha\)는 매개변수를 나타낸다. 잔여 연결이 없으면 하위 네트워크는 원하는 최적 출력 \(H^\)를 직접 학습해야 한다. 잔여 연결이 있으면 하위 네트워크는 잔여 \(H^ - x\)를 학습하고, 최종 출력은 \(F(x; \alpha) = H(x; \alpha) + x\)가 된다. 이 재매개변수화는 네트워크가 항등 매핑을 학습하기 쉽게 만들며, 하위 네트워크는 입력과의 편차만 조정하면 된다.
이 연산은 항등 매핑을 수행하는 "스킵 연결"을 통해 구현되며, 하위 네트워크의 입력을 출력에 직접 연결한다. 이 스킵 연결이 잔여 연결이라고 불리는 것이다. 함수 \(F\)는 일반적으로 배치 정규화 또는 층 정규화와 같은 활성화 함수 및 정규화 연산과 결합된 행렬 곱셈으로 표현된다. 잔여 블록은 스킵 연결을 가진 그러한 하위 네트워크 중 하나이며, 깊은 잔여 네트워크는 이러한 블록을 쌓아 구성된다.
투영 연결
하위 네트워크 \(F\)가 입력의 차원을 변경하여 \(F: \mathbb{R}^n \to \mathbb{R}^m\)이고 \(n \neq m\)인 경우, 덧셈 \(F(x) + x\)는 정의되지 않는다. 이 경우 투영 연결이 사용된다: \(y = F(x) + P(x)\). 여기서 \(P\)는 일반적으로 \(P(x) = Mx\)로 정의되는 선형 투영이며, \(M\)은 \(m \times n\) 행렬이다. 이 투영 행렬은 모델의 다른 매개변수와 마찬가지로 역전파를 통해 훈련된다. 투영 연결은 잔여 아키텍처를 서로 다른 너비나 채널 수를 가진 층에 적용할 수 있게 하며, 이는 ResNet과 같은 합성곱 네트워크에서 단계 간 전환 시 흔하다.
신호 전파
잔여 연결에서 항등 매핑의 도입은 순방향 및 역방향 경로 모두에서 신호 전파를 용이하게 하며, 이는 깊은 네트워크 훈련에서 효과성의 핵심이다.
순방향 전파
\(\ell\)-번째 잔여 블록의 출력이 \((\ell+1)\)-번째 잔여 블록의 입력인 경우(블록 간 활성화 함수가 없다고 가정), 다음 블록의 입력은 \(x_{\ell+1} = F(x_\ell) + x_\ell\)이다. 이 재귀적 관계는 초기 층의 신호가 항등 매핑을 통해 후기 층으로 직접 흐를 수 있게 하며, 비잔여 네트워크에서 발생하는 정보 저하를 피한다. \(L\)개의 블록에 걸쳐 출력은 \(x_L = x_0 + \sum_{i=0}^{L-1} F(x_i)\)로 표현될 수 있으며, 이는 초기 입력이 항상 최종 출력에 존재함을 보여준다.
역방향 전파
역전파 중 잔여 블록의 입력에 대한 손실의 기울기는 \(\frac{\partial \mathcal{L}}{\partial x_\ell} = \frac{\partial \mathcal{L}}{\partial x_{\ell+1}} \left(1 + \frac{\partial F}{\partial x_\ell}\right)\)이다. 항 \(1\)은 하위 네트워크 \(F\)가 작거나 0인 기울기를 가져도 기울기가 항등 매핑을 통해 역방향으로 흐를 수 있게 보장한다. 이는 매우 깊은 비잔여 네트워크를 괴롭히는 기울기 소실 문제를 방지하여 수백 개의 층을 가진 아키텍처의 효과적인 훈련을 가능하게 한다.
역사적 발전
잔여 연결 모티프는 ResNet보다 앞선다. 1997년에 도입된 LSTM은 잔여 연결 역할을 하는 메모리 셀 메커니즘을 가지고 있다: 입력 \(x_t\)는 함수 \(F\)에 의해 처리되고 메모리 셀 \(c_t\)에 더해져 \(c_{t+1} = c_t + F(x_t)\)가 된다. 망각 게이트가 있는 LSTM은 본질적으로 게이트 잔여 연결의 초기 변형인 고속도로 네트워크로 기능한다. 그러나 2015년 마이크로소프트 연구자들(카이밍 허, 샹위 장, 샤오칭 런, 지안 쑨 포함)의 ResNet 논문이 매우 깊은 피드포워드 네트워크에서 잔여 연결의 힘을 입증했다. ResNet은 ILSVRC 2015에서 ImageNet 데이터셋에 대해 3.57%의 오류율로 우승했으며, 처음으로 인간 수준의 성능을 능가했다.
딥러닝에 미친 영향
잔여 연결은 인공지능과 딥러닝에 혁명적인 영향을 미쳤다. 이는 152개 층을 가진 ResNet-152와 같은 전례 없는 깊이의 네트워크 개발을 가능하게 했으며, 이전에는 효과적으로 훈련하는 것이 불가능했다. 이미지 인식에서 ResNet의 성공은 자연어 처리 및 강화학습을 포함한 다른 영역에서 잔여 연결의 빠른 채택으로 이어졌다.
Transformer (architecture) 모델에서 잔차 연결은 핵심 구성 요소이다. 2017년에 도입된 원래 transformer 아키텍처는 각 하위 계층(예: 다중 헤드 어텐션 및 피드포워드 네트워크) 주변에 잔차 연결을 사용하고, 그 뒤에 계층 정규화를 적용한다. 이 설계는 OpenAI가 개발한 모델을 포함하여 BERT 및 GPT 시리즈와 같은 모델에서 사용된다. 잔차 연결이 제공하는 안정성은 수백 개의 계층과 수십억 개의 매개변수를 가질 수 있는 이러한 모델을 훈련하는 데 필수적이다.
잔차 연결은 다른 주목할 만한 시스템에도 나타난다. Google DeepMind가 개발한 AlphaGo Zero 시스템은 바둑 게임을 마스터하기 위해 신경망에서 잔차 네트워크를 사용한다. StarCraft II에서 그랜드마스터 수준에 도달한 AlphaStar와 단백질 구조를 예측하는 AlphaFold도 잔차 연결을 통합한다. 이러한 응용 사례는 다양한 유형의 신경망 아키텍처에서 이 모티프의 다재다능함을 보여준다.
변형 및 개선
훈련 안정성과 성능을 더욱 개선하기 위해 잔차 연결의 여러 변형이 제안되었다. 한 가지 권장 사항은 잔차 연결 \(x + f(x)\)를 \(x/L + f(x)\)로 대체하는 것인데, 여기서 \(L\)은 잔차 계층의 총 수이다. 이 스케일링은 계층 입력의 분산을 안정화하는 데 도움이 되며, 특히 매우 깊은 네트워크에서 중요하다. 이 기법은 GPT-2와 같은 일부 현대 transformer 구현에서 사용되며, 잔차 스트림은 \(1/\sqrt{L}\)로 스케일링된다.
또 다른 변형은 사전 활성화 잔차 블록으로, 활성화 함수(예: ReLU)를 가중치 계층 이후가 아닌 이전에 적용한다. 2016년에 도입된 이 수정은 그래디언트 흐름을 개선하고 더 깊은 네트워크의 훈련을 더 쉽게 만드는 것으로 입증되었다. 또한 일부 아키텍처는 고속도로 네트워크에서 볼 수 있듯이 학습된 게이트가 잔차 경로의 기여를 제어하는 게이트 잔차 연결을 사용한다.
실용적 고려 사항
잔차 연결을 구현할 때 여러 실용적 고려 사항이 발생한다. 정규화를 배치하는 위치(덧셈 전 또는 후)는 훈련 역학에 상당한 영향을 미칠 수 있다. transformer에서 "사후 정규화"(덧셈 후 정규화)는 원래 논문에서 사용되었지만, "사전 정규화"(하위 계층 전 정규화)는 개선된 안정성으로 인해 이후 모델에서 더 일반적이 되었다. 잔차 분기에 대한 스케일링 계수는 조정할 수 있는 또 다른 하이퍼파라미터이다.
잔차 연결은 Dropout 및 Weight Initialization과 같은 다른 기법과도 상호 작용한다. 실제로 잔차 연결은 Gradient Clipping 및 세심한 Learning Rate Scheduling 관리와 함께 사용되어 매우 깊은 모델을 훈련하는 경우가 많다. 이러한 기법의 조합은 현대 Large language model에서 사용되는 것과 같은 수조 개의 매개변수를 가진 모델의 훈련을 가능하게 했다.
결론
잔차 연결은 딥러닝에 혁명을 일으킨 단순하면서도 강력한 아이디어이다. 하위 네트워크의 출력에 입력을 추가함으로써 그래디언트가 깊은 네트워크를 통해 흐를 수 있게 하여 성능 저하를 방지하고 수백 개의 계층을 가진 아키텍처의 훈련을 가능하게 한다. 2015년 ResNet 논문에서의 기원부터 transformer 및 기타 현대 모델에서의 보편적인 존재에 이르기까지, 잔차 연결은 이 분야의 기초적인 도구가 되었다. 그 영향은 이미지 인식, 자연어 처리 및 그 너머에 걸쳐 있으며, Machine learning 역사에서 가장 중요한 아키텍처 혁신 중 하나로 자리 잡고 있다.