상태 공간 모델(SSM)은 현대 AI의 맥락에서, 제어 이론과 신호 처리에서 차용한 방정식에 따라 각 단계에서 업데이트되는 은닉 상태를 사용하여 시퀀스를 처리하는 신경망 아키텍처의 한 부류이다. 트랜스포머의 자기 주의 메커니즘이 모든 토큰을 다른 모든 토큰과 비교하여 시퀀스 길이에 따라 이차적으로 확장되는 반면, 상태 공간 모델은 각 위치에서 고정 크기의 은닉 상태를 업데이트하여 컨텍스트 길이에 대해 선형 또는 거의 선형적인 확장을 제공한다.
가장 널리 논의된 신경 상태 공간 모델은 2023년 12월 Albert Gu와 Tri Dao가 도입한 Mamba로, 초기 선형 상태 공간 모델에 입력 의존적, 즉 선택적 메커니즘을 추가하여 모델이 각 단계에서 무엇을 기억하거나 잊을지 선택할 수 있게 했으며, 이는 언어 작업에서 이전 SSM의 주요 약점을 해결했다.
역사
상태 공간 모델은 제어 공학에서 오랜 역사를 가지며, 시스템의 내부 상태가 시간에 따라 어떻게 진화하고 관찰 가능한 출력을 생성하는지 설명한다. 2021년 스탠포드 연구자들이 발표한 S4 모델과 같은 초기 신경 적응은 신중하게 매개변수화된 선형 상태 공간 계층이 장거리 의존성을 강조하는 벤치마크에서 순환 신경망 및 합성곱 접근 방식과 경쟁력 있게 매우 긴 시퀀스를 처리할 수 있음을 보여주었다. 이러한 초기 SSM은 언어 모델링에서 트랜스포머보다 성능이 떨어졌지만, 2023년 Mamba의 선택적 메커니즘이 그 격차를 크게 줄이면서 SSM을 잠재적인 트랜스포머 대안으로 재조명하게 되었다.
아키텍처 및 메커니즘
기본 SSM 계층은 각 시퀀스 위치에서 선형 반복에 의해 업데이트되는 은닉 상태 벡터를 유지하며, 개념적으로 LSTM과 유사하지만 훈련 중 합성곱 또는 병렬 스캔 알고리즘을 통해 효율적인 병렬 계산을 허용하는 수학적 구조를 가진다. Mamba와 같은 선택적 SSM은 반복의 매개변수를 현재 입력의 함수로 만들어 모델이 어떤 정보를 앞으로 전파할지 동적으로 결정할 수 있게 하며, 이는 고정 선형 필터보다 주의의 내용 기반 조회에 더 가까운 능력이다. SSM 계층과 더 적은 수의 주의 계층을 교차 배치하는 하이브리드 아키텍처는 SSM의 선형 시간 효율성과 주의의 일부 표현력을 함께 추구하며 2024년과 2025년에 여러 연구소에서 등장했다.
트랜스포머와의 비교
상태 공간 모델의 주요 매력은 긴 시퀀스에 대한 추론 효율성이다. 은닉 상태가 고정 크기이므로 각 새 토큰을 생성할 때 표준 트랜스포머 추론처럼 전체 증가하는 컨텍스트에 다시 주의를 기울일 필요가 없으며, 이는 실제로 키-값 캐싱으로 부분적으로 완화된다. 이로 인해 SSM은 매우 긴 컨텍스트 창과 자원이 제한된 배포에 매력적이다. 그러나 2025년까지 순수 SSM은 대부분의 언어 벤치마크에서 잘 조정된 트랜스포머를 명확히 능가하지 못했으며, 해당 분야의 많은 활동은 주의를 완전히 대체하기보다는 하이브리드 설계로 이동했다.
수용 및 전망
Mamba와 그 후속 모델은 2017년 원래 Attention Is All You Need 논문 이후 트랜스포머 지배력에 대한 가장 신뢰할 만한 아키텍처 도전 중 하나로 받아들여졌으며, 상당한 학문적 관심과 여러 오픈 소스 구현을 생성했다. Yann LeCun을 포함한 연구자들은 LSTM 또는 SSM의 순환 스타일 상태가 전체 책, 코드베이스 또는 게놈 서열 처리와 같은 매우 긴 입력에 대한 추론이 필요한 작업에서 이점을 제공할 수 있다고 언급했다. 2025년 현재 상태 공간 모델은 트랜스포머에 비해 생산 대규모 언어 모델에서 소수 아키텍처로 남아 있지만, 여러 주요 연구소의 하이브리드 모델 설계에 계속 영향을 미치고 있다.