스파이킹 신경망(SNN)은 기존 신경망보다 생물학적 뉴런의 동작을 더 밀접하게 모방하는 인공 신경망의 한 부류이다. 각 전파 주기마다 연속적인 값을 전송하는 전통적인 인공 뉴런과 달리, SNN 뉴런은 특정 시점에 발생하는 개별 스파이크 또는 활동 전위를 통해 통신한다. 이러한 스파이크의 정확한 타이밍이 주요 정보 전달 수단으로 작용하여, 네트워크가 계산에 시간 역학을 통합할 수 있게 한다.
SNN에서 각 뉴런은 막 전위를 유지하는데, 이는 연결된 뉴런으로부터 입력 스파이크를 받을 때 상승하거나 하강하는 내부 상태이다. 이 전위가 정의된 임계값에 도달하면 뉴런이 발화하여 하류 뉴런에 스파이크를 보낸다. 발화 후 전위는 더 낮은 값으로 재설정된다. 이러한 이벤트 기반 동작은 표준 Deep learning 모델에서 사용되는 연속 활성화 함수와 대조되며, SNN을 Machine learning 내에서 뚜렷한 패러다임으로 만든다.
가장 널리 사용되는 스파이킹 뉴런 모델은 누설 통합-발화 모델로, 전위를 미분 방정식으로 설명한다. 들어오는 스파이크는 전위를 올리거나 내리며, 누설 항은 시간이 지남에 따라 전위를 감소시킨다. 임계값에 도달하면 뉴런이 발화하고 전위가 재설정된다. 이 모델은 생물학적 타당성과 계산 효율성 사이의 균형을 유지하여 SNN 연구에서 일반적인 선택이 되었다.
역사적 발전
스파이킹 뉴런의 생물학적 기초는 1952년으로 거슬러 올라가며, 앨런 호지킨과 앤드루 헉슬리가 활동 전위 시작 및 전파 모델을 발표했고, 이 연구로 나중에 노벨상을 수상했다. 이후 피츠휴-나구모 모델(1961-1962)과 힌드마시-로즈 모델(1984)과 같은 모델이 뉴런 역학의 설명을 개선했다. 이러한 노력에서 파생된 누설 통합-발화 모델은 호지킨-헉슬리 방정식보다 계산하기 쉬워 인기를 얻었다.
인공 스파이킹 네트워크의 개념은 21세기에 두드러졌지만, 초기 이론 작업은 1970년대에 나타났고, 1980년에서 1995년 사이의 연구는 스파이크 기반 계산의 타당성을 뒷받침했다. 이러한 초기 노력은 알고리즘적이지 않고 생물학적으로 영감을 받은 정보 처리를 시뮬레이션하는 것을 목표로 했다. 2019년 기준으로 SNN은 많은 작업에서 기존 ANN보다 정확도가 낮았지만, 그 격차는 좁혀지고 있었고 일부 벤치마크에서는 사라졌다.
정보 인코딩 및 계산
신경과학의 핵심 질문은 뉴런이 발화율을 통해 통신하는지 아니면 스파이크의 정확한 타이밍을 통해 통신하는지이다. 출력이 스파이크의 평균 빈도인 비율 기반 인코딩은 전통적인 ANN의 연속 출력과 유사하다. 그러나 신경생물학적 증거는 비율 기반 방식이 매우 빠른 처리를 설명할 수 없음을 시사한다. 예를 들어, 인간은 망막에서 측두엽까지의 연속 층을 거쳐 뉴런당 10밀리초 이내에 이미지 인식을 수행할 수 있는데, 이는 비율 기반 인코딩에는 너무 짧은 시간 창이다. 정확한 스파이크 타이밍을 사용하는 시간 코딩은 더 높은 정보 용량을 제공하고 빠른 계산을 지원한다.
SNN은 연속 시간 영역에서 작동하며 입력을 이산 값이 아닌 스파이크 열로 처리한다. 이는 실세계 감각 신호와 같은 시공간 데이터에 잘 적합하다. 종종 합성곱 필터와 유사하게 뉴런을 인접 뉴런에만 연결하며, 스파이크 타이밍에 시간을 직접 인코딩하여 순환 네트워크의 복잡성을 피한다. 다양한 디코딩 방법이 스파이크 열을 실수 값 출력으로 변환하는데, 여기에는 비율 코드, 첫 스파이크까지의 시간, 스파이크 간 간격이 포함된다.
훈련 과제 및 접근법
SNN 훈련은 스파이크 생성 과정이 미분 가능하지 않기 때문에 상당한 과제를 제시한다. 스파이크의 전부 또는 전무 특성은 활성화 함수의 도함수가 거의 모든 곳에서 0이 되어 역전파와 같은 경사 기반 최적화 방법을 방해한다. 이는 표준 Deep learning 기술의 SNN 적용을 제한했다.
연구자들은 이 장애물을 극복하기 위해 여러 전략을 개발했다. 한 접근법은 전역 경사를 요구하지 않는 헤비안 학습 및 스파이크 타이밍 의존 가소성(STDP)과 같은 생물학적으로 영감을 받은 국소 학습 규칙을 사용하는 것이다. 또 다른 방법은 기존 비율 기반 네트워크를 훈련한 다음 SNN으로 변환하는 것이다. 세 번째 접근법은 네트워크 모델을 매끄럽게 만들어 연속 미분 가능하게 하는 것이고, 네 번째는 실제 경사의 연속 완화인 대리 경사를 정의하여 근사 역전파를 가능하게 하는 것이다. 이러한 기술은 SNN 성능을 개선했지만, 지도 훈련은 일부 응용 분야에서 여전히 2세대 네트워크보다 뒤처진다.
하드웨어 및 응용
SNN은 계산 용량 측면에서 이론적으로 전통적인 ANN보다 더 강력하지만, 실제 사용은 높은 계산 비용과 특수 하드웨어 요구 사항으로 제한된다. 사실적인 신경 모델을 시뮬레이션하는 것은 기존 네트워크를 실행하는 것보다 더 비싸며, 스파이크 기반 계산은 종종 이벤트 기반 처리를 지원하는 뉴로모픽 칩을 요구한다. 이러한 장애물에도 불구하고 SNN은 엣지 장치의 에너지 효율적 추론, 실시간 감각 처리, 뇌 영감 컴퓨팅을 위해 탐구되고 있다. 연구가 진행됨에 따라 SNN과 기존 ANN 사이의 격차는 계속 좁혀지고 있으며, 이는 Artificial intelligence에서 활발한 연구 영역이 되고 있다.