미분 가능 신경 컴퓨터(DNC)는 외부 메모리 뱅크를 추가하여 완전히 미분 가능한 방식으로 읽고 쓸 수 있는 인공 신경망의 한 유형이다. 정보를 가중치와 은닉 상태에 암묵적으로 저장하는 표준 신경망과 달리, DNC는 학습된 주의 메커니즘을 사용하여 접근할 수 있는 명시적 메모리 행렬을 가진다. 이 설계는 네트워크가 장기적인 시간 범위에 걸쳐 정보를 저장하고 검색하는 방법을 학습할 수 있게 하여, 알고리즘적 추론, 질문 응답, 구조화된 데이터 조작과 같은 작업에 적합하다. 이 아키텍처는 2016년 Google DeepMind의 연구자들에 의해 도입되었으며, 신경 튜링 머신에 대한 초기 연구를 기반으로 한다.
DNC의 핵심 혁신은 미분 가능한 메모리 접근이다. 일반적으로 순환 신경망인 컨트롤러는 메모리 위치에 대한 주의 분포를 생성하는 읽기 및 쓰기 헤드를 발산한다. 이러한 분포는 소프트맥스 함수를 사용하여 계산되며, 이는 전체 읽기 및 쓰기 프로세스를 미분 가능하게 만들어 네트워크가 경사 하강법을 사용하여 종단 간 학습될 수 있게 한다. 메모리는 실수 값 벡터의 행렬로 구성되며, 컨트롤러는 새 데이터를 쓰거나 기존 데이터를 삭제하고 동시에 여러 위치에서 읽을 수 있다. 네트워크가 중요한 정보를 덮어쓰는 것을 방지하기 위해, 정보는 메모리 위치가 쓰인 순서를 추적하는 시간적 링크 행렬을 포함하며, 이로 인해 네트워크가 일련의 연산을 회상할 수 있게 한다.
DNC는 복잡한 추론과 장기 기억을 요구하는 여러 작업에서 입증되었다. 2016년 원래 논문에서 저자들은 DNC를 훈련하여 이야기에 대한 질문에 답하고, 가상 미로를 탐색하며, 그래프에서 누락된 정보를 추론하는 작업을 수행하게 했다. 네트워크는 임의 길이의 시퀀스를 복사하고, 목록을 정렬하며, 그래프 순회를 수행하는 방법을 성공적으로 학습했는데, 이는 표준 순환 네트워크에 어려운 작업이다. DNC는 또한 훈련 중에 본 입력 크기보다 큰 입력 크기로 일반화할 수 있는 능력을 보여주었으며, 이는 알고리즘 작업에 중요한 특성이다.
아키텍처 및 구성 요소
DNC는 세 가지 주요 구성 요소로 구성된다: 컨트롤러, 메모리 행렬, 그리고 일련의 읽기 및 쓰기 헤더. 컨트롤러는 일반적으로 장단기 메모리(LSTM) 네트워크 또는 순환 연결이 있는 전방 피드 네트워크이다. 각 시간 단계에서 컨트롤러는 입력과 이전 시간 단계의 읽기 헤더 출력을 받는다. 그런 다음 메모리에 접근하는 방법을 결정하는 일련의 제어 신호를 생성한다. 이 신호에는 쓰기 위치, 쓰기 내용, 삭제 벡터 및 읽기 위치가 포함된다.
메모리 행렬은 N×M 차원으로, 여기서 N은 메모리 위치의 수이고 M은 각 위치의 크기이다. 쓰기 헤더는 내용 기반 주소 지정과 위치 기반 주소 지정의 조합을 사용한다. 내용 기반 주소 지정은 쓰기 키와 각 메모리 위치 간의 유사성을 계산하며, 위치 기반 주소 지정은 시간적 링크 행렬을 사용하여 인접한 위치로 주의를 이동시킨다. 읽기 헤더는 유사하게 작동하여 메모리 내용의 가중 합을 계산하는 데 사용되는 읽기 가중치를 생성한다.
시간적 링크 행렬은 DNC의 주요 특징이다. 정보가 마지막으로 쓰인 순서를 기록하며, 항목은 한 위치가 테제 직후에 쓰였는지 여부를 나타낸다. 이를 통해 네트워크는 시퀀스를 복사하거나 그래프를 탐색하는 작업에 필수적인 순차적 메모리 읽기를 수행할 수 있다. 링크 행렬은 각 시간 단계에서 쓰기 가중치를 기반으로 업데이트되고, 읽기 헤더의 후진 및 전진 시프트를 계산하는 데도 사용된다.
훈련 및 최적화
DNC는 표준 역전파 시간을 사용하여 훈련되고, 손실 함수는 일반적으로 작업에 따라 교차 엔트로피 또는 평균 제곱 오차이다. 메모리 접근의 모든 연산이 미분 가능하므로 경사는 주의 메커니즘과 메모리 업데이트를 통해 흐를 수 있다. 그러나 DNC 훈련은 많은 매개 변수와 주의 깊은 초기화의 필요성 때문에 도전적일 수 있다. 연구자들은 훈련을 안정화하기 위해 경사 클리핑과 학습률 스케줄의 조합을 사용했다. 또한 훈련 중 약간의 소음을 사용하는 것이 네트워크가 더 잘 일반화하는 데 도움이 된다는 것을 발견했다.
주요 어려움 중 하나는 메모리가 다양한 방식으로 사용할 수 있으며 네트워크가 메모리를 효율적으로 할당하는 방법을 학습해야 한다는 점이다. 이를 해결하기 위해, DNC에는 현재 사용되지 않는 메모리 위치를 추적하는 자유 목록이 포함된다. 쓰기 헤더는 자유 목록에 있는 위치에 우선해 자유목록에 있습니다. 쓰기 후, 읽기 및 해제가 될 때까지 위치는 자유 목록에서 제거된다. 이 메커니즘은 네트워크가 메모리를 재사용하고 중요한 데이터를 덮어쓰는 것을 방지하게 권장한다.
응용 및 한계
DNC는 초기 데모 이상의 다양한 작업에 적용되었다. 네트워크가 코드를 생성하거나 간단한 프로그램을 실행하는 것을 학습하는 프로그램 합성에 사용되었다. 자연 지식 베이스에 대한 질문 응답에서도 탐구되었으며, 메모리가 사실을 저장하고 네트워크가 이를 검색하고 결합하는 것을 학습한다. 기계 학습 분야에서 DNC는 명시적 추론과 기호 데이터 조작을 수행할 수 있는 신경망으로서의 중요한 진전으로 종종 인용된다.
그러나 DNC에는 몇몇 한계가 있다. 메모리 접근 연산이 시간적 링크 행렬 때문에 단계당 O(N^2) 시간이 필요로하여 계산 비용이 높다. 이로 인해 대규모 메모리 크기로 확장하기가 어렵다. 또한 메모리가 복잡해지고 주의 메커니즘이 올바른 위치에 집중하지 못해 매우 긴 시퀀스에서 어려움을 겪는다. 그 결과, DNC는 전체 입력 시퀀스에 걸쳐 정보에 접근하는 자기 주의를 사용하는 Transformer와 같은 다른 아키텍처에 주로 대체되었다. 그럼에도 불구하고 DNC의 아이디어는 메모리 증강 신경망과 딥 러닝의 외부 메모리에 대한 이후 작업에 영향을 미쳤다.
다른 아키텍처와의 관계
DNC는 신경 튜링 머신(NTM)의 확장으로, 2014년 알렉사 그레이브스, 그레그 웨인, 이보 다니엘카에 의해 소개되었다. NTM은 유사한 아르 즐거움을 가졌지만 시간적 링크 행렬과 자유 목록이 없어 순차적 연산 학습에 덜 효과적이었다. DNC는 잔여 네트워크와의 개념적 유사성도 공유한다. 정보 흐름을 개선하려는 점에서 유사하지만, 작동 도메인은 다르다: 잔여 네트워크는 깊은 피드 네트워크의 기울기 소멸을 해결하고 DNC는 순환 네트워크의 장기 기억을 해결한다.
딥 러닝 맥락에서 DNC는 주의 메커니즘과 외부 메모리와 같은 네트워크를 외부와 증강하는 일반적인 추세다. Transformer에 사용되는 다중 헤드 주의는 형태의 콘텐츠 기반 메모리 접근으로 볼 수 있지만 명시적 쓰기 및 삭제는 없습니다. DNC는 또한 난이도가 증가하는 작업에 대한 훈련이 네트워크가 더 복잡한 행동을 학습하는 데 도움이 되는 커리큘럼 학습에도 관련된다.
유산와 영향력
오늘날 DDC가 생산 시스템에서 널리 사용되기는 하지만, 인공지능 분야에 오래 due 지속된 영향을 미쳤다. 신경망이 명시적 메모리 조작을 요구하는 알고리즘적 작업을 수행할 수 있다는 것을 보여주었다. 미분 가능한 메모리 개념은 취약 학습용 메모리 증강 신경망과 그래프 추론용 미분 신경 컴퓨터와 같은 다양한 모델에 통합되었다. 이 작업은 또한 생성 AI 분야에서 응용되는 미분 정렬 및 미분 가능한 데이터 구조에 대한 연구에 영감을 주었다.
DNC는 알렉사 그레이브스, 그레그 웨인 등 일부 심신팀에 의해 개발되었다. 그들의 논문 "동적 외부 메모리를 가진 신경 네트워크를 사용한 하이브리드 컴퓨팅"은 2016년 10월 네이처에 게재되었다. DNC의 코드는 나중에 오픈 소스로서 배포되어 연구자들이 아키텍처를 실험할 수 있게 했다. DNC 자체는 역사적 이정표로 여겨질 수 있지만, 그 원리는 긴 기억과 추론 능력을 필요로 하는 현대 신경망 설계에 지속적으로 정보을 제공한다.