게이트 순환 유닛(GRU)은 2014년에 조경현(Kyunghyun Cho)과 동료들이 도입한 순환 신경망(RNN)의 게이팅 메커니즘 유형입니다. 이는 표준 RNN에서 흔히 발생하는 기울기 소실 문제를 해결하기 위해 설계되었으며, 업데이트 게이트와 리셋 게이트를 사용하여 정보의 흐름을 제어합니다. 장단기 메모리(LSTM) 유닛과 비교할 때, GRU는 별도의 셀 상태와 출력 게이트가 없어 더 간단한 구조를 가지며, 따라서 매개변수 수가 더 적습니다. 이러한 단순화에도 불구하고 GRU는 다성 음악 모델링, 음성 신호 모델링, 자연어 처리와 같은 작업에서 LSTM과 견줄 만한 성능을 보여주었습니다. 조경현의 연구팀은 게이팅이 일반적으로 유익하다는 것을 입증했지만, GRU와 LSTM 중 어느 것이 더 우수한지에 대해서는 결정적인 결론을 내리지 못했습니다.
구조
GRU는 각 시간 단계에서 은닉 상태 \( h_t \)를 유지하며, 이는 다음 방정식에 따라 업데이트됩니다. 완전 게이팅 유닛의 핵심 방정식은 다음과 같습니다:
\[ z_t = \sigma(W_z x_t + U_z h_{t-1} + b_z) \]
\[ r_t = \sigma(W_r x_t + U_r h_{t-1} + b_r) \]
\[ \hat{h}_t = \phi(W_h x_t + U_h (r_t \odot h_{t-1}) + b_h) \]
\[ h_t = (1 - z_t) \odot h_{t-1} + z_t \odot \hat{h}_t \]
여기서 \( \sigma \)는 시그모이드 활성화 함수, \( \phi \)는 일반적으로 쌍곡선 탄젠트(tanh)이며, \( \odot \)는 아다마르 곱(요소별 곱)을 나타냅니다. 입력 벡터는 \( x_t \in \mathbb{R}^d \), 은닉 상태는 \( h_t \in \mathbb{R}^e \)입니다. 업데이트 게이트 \( z_t \)는 이전 은닉 상태를 얼마나 유지할지 결정하고, 리셋 게이트 \( r_t \)는 후보 상태 \( \hat{h}_t \)를 계산할 때 과거 정보를 얼마나 잊을지 제어합니다. 최종 은닉 상태는 이전 상태와 후보 상태의 선형 보간으로, 업데이트 게이트에 의해 가중치가 부여됩니다.
변형
GRU에는 여러 변형이 존재하며, 게이트 계산 및 결합 방식이 다릅니다. 가장 일반적인 변형은 위에서 설명한 완전 게이팅 유닛입니다. 단순화된 버전인 최소 게이팅 유닛(MGU)은 업데이트와 리셋 기능을 결합한 단일 게이트만 사용하여 매개변수 수를 더 줄입니다. 다른 변형은 편향의 배치나 연산 순서를 변경할 수 있지만, 모든 변형은 정보 흐름을 관리하는 게이팅의 핵심 원리를 유지합니다.
응용 및 성능
GRU는 음성 인식, 기계 번역, 시계열 예측을 포함한 시퀀스 모델링 작업에서 널리 채택되었습니다. 비교 연구에서 GRU는 특히 다성 음악 모델링과 음성 신호 모델링에서 많은 벤치마크에서 LSTM과 동등한 성능을 보였습니다. 매개변수 수가 적기 때문에 대규모 데이터셋이나 자원이 제한된 환경에서 훈련 시 계산적으로 더 효율적입니다. 그러나 GRU와 LSTM 중 어떤 것을 선택할지는 특정 작업과 데이터셋에 따라 달라지며, 보편적으로 우월한 모델은 없습니다.
다른 구조와의 관계
GRU는 트랜스포머 아키텍처가 등장하기 전에 많은 딥러닝 모델의 기초 구성 요소였습니다. 트랜스포머가 대규모 언어 모델과 생성형 AI에서 지배적이 되었지만, GRU는 순환 처리가 유리한 순차 데이터 작업에서 여전히 유용합니다. 또한 순환 및 주의 메커니즘을 결합한 하이브리드 모델에서도 사용됩니다. GRU의 개발은 신경망에서 게이팅 메커니즘에 대한 더 넓은 이해에 기여했으며, 이후의 모델 설계 혁신에 영향을 미쳤습니다.