1997년 제프 호크라이터(Sepp Hochreiter)와 위르겐 슈미트후버(Jürgen Schmidhuber)가 발표한 논문 "Long Short-Term Memory"는 LSTM 아키텍처를 소개했으며, 이는 기존 RNN을 괴롭히던 기울기 소실 문제를 해결하기 위해 설계된 순환 신경망의 한 유형이다. Neural Computation 저널에 게재된 이 연구는 네트워크가 수천 개의 타임스텝에 걸쳐 정보를 유지할 수 있는 메커니즘을 제공했으며, 이러한 능력은 인지 심리학의 장기 기억과 단기 기억 구분에 비유하여 "장단기 기억"이라는 이름을 얻게 되었다. 이 논문은 이후 머신 러닝과 딥 러닝 시스템의 초석이 될 모델의 기반을 마련했으며, 음성 인식부터 대규모 언어 모델에 이르는 다양한 분야에 영향을 미쳤다.
LSTM 유닛은 표준 RNN 뉴런과 달리 메모리 셀과 세 가지 게이팅 메커니즘(입력 게이트, 출력 게이트, 망각 게이트)을 통합한다. 셀은 임의의 간격 동안 정보를 저장하며, 게이트는 데이터 흐름을 조절한다. 이후 개선 과정에서 도입되었지만 아키텍처의 효과성에 핵심적인 망각 게이트는 이전 상태와 현재 입력을 0과 1 사이의 값으로 매핑하여 이전 상태에서 무엇을 버릴지 결정하며, 1은 유지, 0은 폐기를 의미한다. 입력 게이트는 저장할 새 정보를 결정하고, 출력 게이트는 셀 상태에서 무엇을 내보낼지 제어한다. 이러한 게이트 구조는 역전파 중 기울기가 최소한의 감쇠로 흐를 수 있게 하여 기울기 소실 문제를 완화하고 장기 의존성 학습을 가능하게 한다.
동기와 문제 배경
고전적 RNN은 이론적으로 임의의 장기 의존성을 추적할 수 있었지만, 실제로는 계산상의 문제로 실패했다. 역전파를 통한 훈련 중 수많은 타임스텝에 걸쳐 전파되는 기울기는 소실되어 0에 수렴하며 학습을 중단시키는 경향이 있었다. 이 문제는 자연어나 시계열 데이터와 같이 수백 또는 수천 개의 요소로 구성된 간격이 있는 시퀀스에서 특히 심각했다. LSTM 논문은 언제 기억하고 언제 잊을지 학습하는 추가 모듈을 만들어 이 문제에 대한 해결책을 제시했으며, 이는 사실상 오랜 기간 지속될 수 있는 단기 기억을 제공했다. 예를 들어, "Dave, as a result of his controversial claims, is now a pariah"와 같은 문장을 처리할 때 LSTM은 주어 "Dave"의 문법적 성과 수를 대명사 "his"가 필요할 때까지 유지한 다음 동사 이후 해당 정보를 폐기할 수 있다. 이러한 능력은 관련 정보 간의 간격이 가변적이고 잠재적으로 길 수 있는 작업에서 LSTM이 은닉 마르코프 모델을 포함한 다른 시퀀스 학습 방법보다 우위를 점하게 했다.
아키텍처와 수학적 공식화
이 논문은 벡터 표기법을 사용하여 LSTM 셀의 순전파 방정식을 상세히 설명했으며, 소문자 변수는 벡터를 나타낸다. 행렬 \(W_q\)와 \(U_q\)는 입력 및 순환 연결의 가중치를 포함하며, 아래첨자 \(q\)는 특정 게이트 또는 셀(입력 게이트 \(i\), 출력 게이트 \(o\), 망각 게이트 \(f\), 메모리 셀 \(c\))을 나타낸다. 셀 상태 \(c_t \in \mathbb{R}^h\)는 단일 뉴런이 아닌 \(h\)개의 LSTM 유닛을 나타낸다. 망각 게이트가 있는 셀의 간결한 방정식은 다음과 같다:
\[ f_t = \sigma_g(W_f x_t + U_f h_{t-1} + b_f) \]
\[ i_t = \sigma_g(W_i x_t + U_i h_{t-1} + b_i) \]
\[ o_t = \sigma_g(W_o x_t + U_o h_{t-1} + b_o) \]
여기서 \(\sigma_g\)는 시그모이드 활성화 함수, \(x_t\)는 시간 \(t\)에서의 입력, \(h_{t-1}\)은 이전 은닉 상태, \(b\) 항은 편향이다. 이러한 게이트는 0과 1 사이의 값을 생성하여 정보 흐름을 제어한다. 셀 상태 업데이트는 망각 게이트의 선택적 유지와 입력 게이트의 새 정보를 결합하며, 출력 게이트는 셀 상태를 필터링하여 은닉 상태를 생성한다. 이 공식화는 네트워크가 현재 및 미래 예측을 위한 유용한 장기 의존성을 유지할 수 있게 했다.
응용 및 영향
1997년 논문은 LSTM을 다재다능한 도구로 확립했으며, 이후 연구는 다양한 분야로 응용 범위를 확장했다. 인공 지능 분야에서 LSTM 네트워크는 분류, 데이터 처리, 시계열 분석에 널리 사용되었다. 구체적인 응용으로는 음성 인식, 기계 번역, 음성 활동 감지, 로봇 제어, 비디오 게임, 의료, 에너지 예측 등이 포함되었다. 장기 의존성을 가진 시퀀스 데이터를 처리하는 아키텍처의 능력은 특히 자연어 처리 작업에서 효과적이었으며, 이후 시퀀스-투-시퀀스 모델과 인코더-디코더 프레임워크에 통합되었다. LSTM의 영향은 나중에 등장한 트랜스포머 아키텍처로 확장되었으며, 이는 어텐션 메커니즘 개념을 기반으로 했지만 병렬 처리 가능성 덕분에 많은 대규모 응용에서 LSTM을 능가하게 되었다.
유산과 진화
트랜스포머와 생성형 AI 모델의 부상에도 불구하고 LSTM은 딥 러닝 교육과 연구에서 여전히 기본 개념으로 남아 있다. 그 원리는 기울기 폭주를 해결하기 위한 기울기 클리핑, 훈련 안정화를 위한 레이어 정규화 및 배치 정규화와 같은 관련 기술 개발에 영향을 주었다. 이 논문의 기여는 신경망 역사의 이정표로 인정받았으며, 호크라이터와 슈미트후버의 연구는 이후 수천 건의 연구에서 인용되었다. LSTM 네트워크는 트랜스포머에 비해 순차적 처리와 낮은 계산 요구 사항이 유리한 자원 제약 환경과 실시간 응용에서 계속 사용되고 있다. 이 아키텍처의 설계는 또한 현대 잔차 네트워크와 다른 게이트 모델에 영향을 주었으며, 머신 러닝 진화의 핵심 혁신으로서의 위치를 공고히 했다.
참고 문헌 및 추가 자료
Hochreiter, S., & Schmidhuber, J. (1997). Long Short-Term Memory. Neural Computation, 9(8), 1735-1780. 이 획기적인 논문은 LSTM 아키텍처의 주요 참고 자료로 남아 있다. 다른 연구자들의 후속 연구는 망각 게이트를 개선하고 변형을 탐구했지만, 1997년의 핵심 아이디어는 오픈AI와 구글 딥마인드와 같은 기업이 언어 모델 및 기타 응용에서 사용하는 현대 AI 시스템에 지속되고 있다.