머신 러닝에서 하이웨이 네트워크(Highway Network)는 수백 개의 층을 가진 네트워크를 최초로 성공적으로 훈련시킨 심층 피드포워드 신경망 아키텍처로, 2014년 최첨단 모델의 전형적인 20~30개 층을 훨씬 초과했습니다. 이는 2015년 5월, 너무 많은 층을 쌓으면 훈련 정확도가 급격히 감소하는 "성능 저하(degradation)" 문제를 극복하고자 한 연구자들에 의해 도입되었습니다. 이 아키텍처는 장단기 메모리(LSTM) 순환 신경망에서 영감을 받은 학습된 게이팅 메커니즘을 사용하여 층 간 정보 흐름을 조절합니다. 이러한 게이트는 "정보 고속도로"를 만들어 그래디언트가 더 쉽게 전파되도록 하여 기울기 소실 문제를 완화하고 최적화를 개선합니다.
하이웨이 네트워크는 2015년 12월에 발표된 잔차 신경망(ResNet)과 동시에 개발되었습니다. ResNet은 게이트가 항상 열려 있는(활성화 1.0) 하이웨이 네트워크의 특수한 경우로 볼 수 있습니다. 하이웨이 네트워크는 텍스트 시퀀스 레이블링 및 음성 인식 작업에서 실용적인 응용을 찾았습니다.
모델 및 게이팅 메커니즘
하이웨이 네트워크는 표준 피드포워드 층을 확장하여 주 변환 함수 \(H(W_H, x)\)와 함께 두 개의 게이트, 즉 변환 게이트 \(T(W_T, x)\)와 전달 게이트 \(C(W_C, x)\)를 추가합니다. 두 게이트는 일반적으로 시그모이드 함수로, 0과 1 사이의 값을 출력합니다. 전달 게이트는 \(C(W_C, x) = 1 - T(W_T, x)\)로 정의되어 변환 경로와 전달 경로의 합이 1이 되도록 보장합니다.
하이웨이 층의 출력은 다음과 같이 계산됩니다:
\(y = H(x, W_H) \cdot T(x, W_T) + x \cdot C(x, W_C)\)
또는 동등하게:
\(y = H(x, W_H) \cdot T(x, W_T) + x \cdot (1 - T(x, W_T))\)
이 공식은 층이 입력을 변경 없이 통과시키거나(변환 게이트가 0에 가까울 때) 비선형 변환을 적용할 수 있게 합니다(게이트가 1에 가까울 때). 게이팅은 훈련 중에 학습되며, 네트워크가 각 층을 통해 흐르는 정보의 양을 동적으로 제어할 수 있게 합니다.
LSTM 및 ResNet과의 관계
하이웨이 네트워크는 LSTM 순환 신경망에서 직접적인 영감을 얻었습니다. Sepp Hochreiter는 1991년에 기울기 소실 문제를 분석하고 이를 심층 네트워크 훈련의 어려움에 기인했습니다. 원래 LSTM(1997)은 고정 가중치 1.0의 잔차 연결인 상수 오차 캐러셀을 도입하여 그래디언트가 긴 시간 단계를 통해 흐를 수 있게 했습니다. 이후 LSTM 변형(2000)은 이러한 항등 연결을 조절하는 학습 가능한 "망각 게이트"를 추가하여 기울기 소실 문제를 더 유연하게 해결했습니다.
하이웨이 네트워크는 이러한 원리를 피드포워드 네트워크에 적용합니다. 이는 시간에 따라 펼쳐진 망각 게이트가 있는 LSTM과 유사하며, 게이트가 학습됩니다. 반면, 2015년 12월에 나중에 발표된 ResNet에는 망각 게이트에 해당하는 것이 없으며, 그 스킵 연결은 항상 열려 있어 1997년 원래 LSTM과 유사합니다. 하이웨이 네트워크의 게이트가 열려 있으면(활성화 1.0) ResNet이 됩니다.
잔차 연결은 Rosenblatt(1961)과 Lang & Witbrock(1988)으로 거슬러 올라가는 더 넓은 "단축 연결(short-cut connection)" 또는 "스킵 연결(skip connection)" 개념의 특수한 경우입니다. 이러한 연결은 \(x \mapsto F(x) + Ax\) 형태를 취하며, 여기서 \(A\)는 가중치 행렬입니다. 잔차 연결에서 \(A\)는 항등 행렬이지만, 일반적인 스킵 연결에서 \(A\)는 임의적일 수 있습니다. 따라서 모든 잔차 연결은 스킵 연결이지만, 모든 스킵 연결이 잔차 연결인 것은 아닙니다.
훈련 및 성능
원래 하이웨이 네트워크 논문은 20, 50, 100개 층의 네트워크 실험을 보고했으며, 최대 900개 층에 대한 진행 중인 작업을 언급했습니다. 게이팅 메커니즘은 이러한 매우 깊은 네트워크를 효과적으로 훈련할 수 있게 하여 일반 심층 네트워크보다 더 나은 최적화를 달성했습니다. 게이트는 정보 흐름을 조절함으로써 그래디언트가 이전 층의 가중치를 업데이트하기에 너무 작아지는 기울기 소실 문제를 방지하는 데 도움을 줍니다.
다른 딥 러닝 아키텍처와 비교하여 하이웨이 네트워크는 매우 깊은 모델의 훈련 가능성을 개선하는 이점을 제공합니다. 그러나 게이트에 대한 추가 매개변수가 필요하여 계산 비용이 증가합니다. 하이웨이 네트워크와 ResNet의 성공은 매우 깊은 아키텍처가 효과적으로 훈련될 수 있음을 입증하여 이후 딥 러닝 발전의 길을 열었습니다.
응용 및 유산
하이웨이 네트워크는 깊은 아키텍처가 복잡한 패턴을 포착하는 데 유리한 텍스트 시퀀스 레이블링 및 음성 인식에 적용되었습니다. 또한 ResNet과 같은 이후 아키텍처의 개발에 영향을 미쳤으며, 이는 컴퓨터 비전의 기초적인 구성 요소가 되었습니다. 게이팅된 스킵 연결의 개념은 트랜스포머 및 대규모 언어 모델을 포함한 현대 딥 러닝에서 다양한 형태로 채택되었습니다.
하이웨이 네트워크의 아이디어는 딥 러닝의 더 넓은 진화의 일부이며, 이는 토론토 대학교와 같은 기관 및 Sepp Hochreiter 및 Jürgen Schmidhuber와 같은 연구자들의 기여에 의해 주도되었습니다. 하이웨이 네트워크 자체는 오늘날 덜 일반적으로 사용되지만, 그 원리는 매우 깊은 신경망을 훈련하는 방법을 이해하는 데 여전히 관련이 있습니다.