Long Short-Term Memory, 즉 LSTM은 순환 신경망 아키텍처로, 게이트 단위를 사용하여 정보가 지속적인 내부 메모리 셀에 추가, 유지 또는 제거되는 방식을 조절함으로써 순차 데이터의 장기 의존성을 학습하도록 설계되었습니다. 이는 일반 RNN이 여러 시간 단계로 분리된 사건 간의 관계를 학습하지 못하게 만드는 기울기 소실 문제를 해결하기 위해 특별히 도입되었습니다.
역사
LSTM은 제프 호흐라이터와 위르겐 슈미트후버가 1997년 논문에서 소개했으며, 호흐라이터가 1991년 졸업 논문에서 표준 순환 신경망이 역전파를 통해 시간에 따라 훈련될 때 기울기가 소실되거나 폭주하는 이유를 분석한 연구를 기반으로 했습니다. 원래 아키텍처는 이후 10년 동안 개선되었으며, 특히 2000년 Felix Gers와 동료들이 망각 게이트를 추가하여 네트워크가 정보를 무한정 축적하는 대신 메모리 셀을 능동적으로 재설정하는 법을 학습할 수 있게 했습니다. LSTM은 발표 후 수년간 제한적으로 채택되었지만, 2010년대에 더 큰 데이터 세트와 GPU 훈련이 일반 RNN에 비해 그 장점을 명확히 측정 가능하게 만들면서 딥러닝에서 가장 널리 사용되는 아키텍처 중 하나가 되었습니다.
아키텍처
LSTM 유닛은 셀 상태를 유지하며, 이는 시간 단계를 거쳐 정보를 거의 변경 없이 전달하는 컨베이어 벨트 역할을 합니다. 또한 입력, 망각, 출력의 세 가지 게이트가 있으며, 각 게이트는 0과 1 사이의 값을 출력하여 통과하는 정보의 양을 제어하는 작은 신경망 계층입니다. 망각 게이트는 셀 상태에서 무엇을 버릴지 결정하고, 입력 게이트는 어떤 새 정보를 추가할지 결정하며, 출력 게이트는 해당 단계에서 유닛의 출력으로 셀 상태의 어떤 부분을 노출할지 결정합니다. 셀 상태가 반복적인 곱셈이 아닌 덧셈을 통해 업데이트되므로 기울기는 많은 시간 단계를 거쳐 크게 감소하지 않고 역방향으로 흐를 수 있으며, 이는 일반 RNN이 몇 단계를 넘어서는 데 실패하는 수백 단계에 걸친 의존성을 LSTM이 학습할 수 있게 하는 핵심 메커니즘입니다.
응용 분야
스택형 및 양방향 LSTM은 2010년대 내내 기계 번역, 음성 인식, 텍스트 생성의 표준 아키텍처가 되었으며, 어텐션을 갖춘 LSTM 기반 시퀀스-투-시퀀스 모델은 트랜스포머 아키텍처의 직접적인 전신이었습니다. 2016년에 배포된 Google의 신경망 기계 번역 시스템은 깊은 LSTM 스택을 사용했으며, 이 아키텍처의 가장 큰 생산 배포 중 하나를 대표했습니다. LSTM은 언어 외에도 시계열 예측, 필기 인식, 긴 행동 시퀀스에 걸쳐 정보를 기억해야 하는 초기 강화 학습 에이전트 등에서 널리 사용되었습니다.
쇠퇴와 유산
2017년 트랜스포머 아키텍처의 도입은 게이트 순환을 통한 순차 처리 대신 자기 어텐션을 사용하여 전체 시퀀스를 병렬로 처리하며, GPU 하드웨어에서 더 나은 훈련 효율성과 대규모에서 더 나은 성능을 제공했고, LSTM은 몇 년 안에 새로운 자연어 처리 및 대규모 언어 모델 시스템의 기본 선택에서 대체되었습니다. 호흐라이터의 연구 그룹은 2024년 xLSTM으로 아키텍처를 재검토했으며, 트랜스포머에서 배운 기술로 LSTM을 현대화하려는 시도로, 순환 아키텍처가 매우 긴 시퀀스에서 여전히 경쟁력이 있을 수 있다고 주장했지만, 2025년 현재 주류 사용에서 트랜스포머나 새로운 상태 공간 모델을 대체하지는 못했습니다.