게이트 순환 유닛(GRU)은 2014년 조경현(Kyunghyun Cho)과 동료들이 도입한 순환 신경망에서 사용되는 게이팅 메커니즘의 한 유형이다. 이는 표준 순환 신경망에서 흔히 발생하는 기울기 소실 문제를 해결하기 위해 설계되었으며, 업데이트 게이트와 리셋 게이트라는 두 개의 게이트를 사용하여 과거 정보 중 얼마나 유지하고 잊을지를 제어한다. 장단기 메모리(LSTM) 유닛과 비교할 때 GRU는 더 단순한 구조를 가진다. 즉, 별도의 컨텍스트 벡터와 출력 게이트가 없어 파라미터 수가 적고 훈련이 더 빠른 경우가 많다. 이러한 단순화에도 불구하고 GRU는 폴리포닉 음악 모델링, 음성 신호 모델링, 자연어 처리 등의 작업에서 LSTM과 비슷한 성능을 보여 주었다. 요슈아 벤지오(Yoshua Bengio) 팀의 연구는 게이팅이 전반적으로 유용하다는 것을 발견했지만, 일반적으로 GRU와 LSTM 중 어느 것이 더 우수한지에 대해서는 결정적인 결론을 내리지 못했다.
구조
GRU는 입력 시퀀스를 단계별로 처리하며, 시간 단계를 거쳐 정보를 전달하는 은닉 상태를 유지한다. 각 시간 단계에서 유닛은 업데이트 게이트와 리셋 게이트를 계산하는데, 둘 다 현재 입력과 이전 은닉 상태의 함수이다. 업데이트 게이트는 이전 상태를 얼마나 앞으로 전달할지 결정하고, 리셋 게이트는 후보 활성화를 계산할 때 과거 상태를 얼마나 사용할지 결정한다. 최종 은닉 상태는 업데이트 게이트에 의해 가중된 이전 상태와 후보 활성화의 볼록 결합이다.
수학적으로, 입력 벡터 \(x_t\)와 이전 은닉 상태 \(h_{t-1}\)에 대해 게이트와 후보 활성화는 다음과 같이 계산된다:
- 업데이트 게이트: \(z_t = \sigma(W_z x_t + U_z h_{t-1} + b_z)\)
- 리셋 게이트: \(r_t = \sigma(W_r x_t + U_r h_{t-1} + b_r)\)
- 후보 활성화: \(\hat{h}_t = \phi(W_h x_t + U_h (r_t \odot h_{t-1}) + b_h)\)
- 최종 은닉 상태: \(h_t = (1 - z_t) \odot h_{t-1} + z_t \odot \hat{h}_t\)
여기서 \(\sigma\)는 시그모이드 활성화 함수이고, \(\phi\)는 일반적으로 하이퍼볼릭 탄젠트이며, \(\odot\)는 아다마르(요소별) 곱을 나타낸다. 가중치 행렬 \(W_z, W_r, W_h\)와 \(U_z, U_r, U_h\)는 편향 벡터 \(b_z, b_r, b_h\)와 함께 훈련 중에 학습된다. 초기 은닉 상태는 일반적으로 0으로 설정된다.
변형
GRU에는 게이트를 계산하거나 결합하는 방식이 다른 여러 변형이 존재한다. 주목할 만한 단순화된 버전은 최소 게이트 유닛(minimal gated unit)으로, 계산 복잡성을 줄이기 위해 하나의 게이트(종종 업데이트와 리셋의 결합)만 사용한다. 다른 변형은 연산 순서나 리셋 게이트가 이전 상태와 상호작용하는 방식을 조정할 수 있다. 이러한 수정은 특정 작업에서 효율성이나 성능을 개선하는 것을 목표로 하지만, 게이트된 정보 흐름의 핵심 원리는 일관되게 유지된다.
응용
GRU는 자연어 처리(예: 기계 번역, 언어 모델링), 음성 인식, 음악 생성 등 시퀀스 모델링 작업에 널리 적용되었다. 또한 시계열 예측과 합성곱 계층 또는 어텐션 메커니즘과 결합된 하이브리드 아키텍처에서도 사용된다. 많은 환경에서 GRU는 특히 계산 자원이 제한적이거나 시퀀스 길이가 적당할 때 LSTM의 가벼운 대안 역할을 한다.
LSTM과의 비교
GRU와 LSTM은 모두 기울기 소실 문제를 완화하기 위해 개발되었지만 내부 구조에서 차이가 있다. LSTM은 세 개의 게이트(입력, 망각, 출력)와 별도의 셀 상태를 가지는 반면, GRU는 두 개의 게이트를 가지며 별도의 셀 상태가 없다. 이로 인해 GRU는 파라미터 효율적이며 종종 훈련이 더 빠르다. 경험적으로, 많은 벤치마크 작업에서 GRU가 LSTM과 유사한 성능을 보인다는 연구 결과가 있지만, 결과는 데이터셋과 작업에 따라 달라질 수 있다. 일부 연구는 GRU가 더 작은 데이터셋에서 더 잘 일반화될 수 있는 반면 LSTM은 더 큰 데이터셋에서 뛰어날 수 있다고 제안하지만, 결정적인 우위는 확립되지 않았다.