신경 튜링 머신(NTM)은 튜링 머신을 모방하는 순환 신경망 모델이다. 2014년 알렉스 그레이브스(Alex Graves)와 동료들에 의해 소개되었다. NTM은 신경망의 퍼지 패턴 매칭 능력과 프로그래밍 가능한 컴퓨터의 알고리즘적 힘을 결합하여, 예제로부터 간단한 알고리즘을 학습할 수 있게 한다.
이 아키텍처는 외부 메모리 자원에 연결된 신경망 컨트롤러로 구성된다. 컨트롤러는 주의 메커니즘을 통해 메모리와 상호작용하며, 전체 시스템은 종단 간 미분 가능하여 경사 하강법을 통한 최적화가 가능하다. 장단기 메모리(LSTM) 컨트롤러를 사용하면 NTM은 복사, 정렬, 연관 회상과 같은 알고리즘을 예제만으로 추론할 수 있다.
아키텍처 및 작동
NTM의 컨트롤러는 일반적으로 LSTM 또는 피드포워드 네트워크와 같은 순환 신경망이다. 입력을 받아 출력을 생성하면서 외부 메모리 행렬에 대한 읽기 및 쓰기 연산도 생성한다. 메모리는 내용 기반 및 위치 기반 주의를 사용하여 주소 지정되며, 이를 통해 네트워크가 특정 메모리 위치에 집중할 수 있다. 이러한 연산의 미분 가능한 특성은 역전파를 통한 훈련을 가능하게 한다.
역사적 배경 및 영향
그레이브스 등의 2014년 논문은 딥러닝이 빠르게 발전하던 시기에 발표되었다. NTM은 외부 메모리를 신경망에 명시적으로 통합한 최초의 모델 중 하나로, 이후 Transformer (architecture) 및 대규모 언어 모델과 같은 아키텍처에 영향을 미쳤다. 이 개념은 튜링 머신에서 영감을 얻었으며 신경망과 기호 계산 사이의 격차를 메우는 것을 목표로 했다.
구현 및 과제
원저자들은 소스 코드를 공개하지 않았다. 첫 번째 안정적인 오픈 소스 구현은 2018년 제27회 국제 인공 신경망 학회에서 등장하여 최우수 논문상을 받았다. 다른 오픈 소스 구현도 존재하지만, 2018년 기준으로 생산 사용에 충분히 안정적이지 않았다. 개발자들은 훈련 중 알 수 없는 이유로 그래디언트가 NaN이 되거나, 수렴이 느리거나, 학습 속도가 보고되지 않는 문제를 보고했다.
확장 및 유산
미분 가능한 신경 컴퓨터는 NTM의 파생물로, 메모리 활동을 제어하고 성능을 개선하기 위해 더 정교한 주의 메커니즘을 통합한다. NTM 개념은 신경망 및 머신 러닝 연구 전반, 특히 메모리 강화 모델이 필요한 영역에도 영향을 미쳤다.