자동연상 기억(autoassociative memory)은 자동 연상 기억 또는 자동 연상 네트워크라고도 불리며, 데이터의 극히 일부 샘플만으로도 해당 데이터 전체를 검색할 수 있는 모든 유형의 기억을 말한다. 이러한 능력은 입력의 노이즈 제거, 간섭 제거, 그리고 저장된 패턴을 기반으로 주어진 입력이 "알려진" 것인지 "알려지지 않은" 것인지 판별하는 데 효과적이다. 인공 신경망에서의 예로는 변분 오토인코더, 노이즈 제거 오토인코더, 홉필드 네트워크가 있다. 컴퓨터 메모리 시스템에서는 이 개념을 내용 주소화 메모리(CAM)라고도 한다. 네트워크는 출력 활성화 패턴이 저장된 벡터 중 하나와 동일할 때 "알려진" 벡터를 인식한다고 말한다.
배경
표준 데이터 저장은 검색에 사용되는 위치 기반 메모리 주소로 색인된다. 반면 자동연상 기억은 연결 가중치가 기억 간의 고유한 연상 연결을 반영하는 그래프와 유사한 구조로 구성된다. 이를 통해 메모리 조각을 키로 사용하여 질의할 수 있으며, 해당 메모리와 밀접하게 연결된 메모리를 동시에 검색할 수 있다. 홉필드 네트워크는 데이터의 일부를 관찰하여 기억할 수 있기 때문에 자동연상 기억으로 작동하는 것으로 입증되었다.
반복 자동연상 네트워크
경우에 따라 자동연상 네트워크는 첫 시도에서 저장된 패턴을 재현하지 못하지만, 출력이 입력으로 다시 피드백되면 저장된 패턴이 나타난다. 세 가지 추가 유형이 있다: 순환 선형 자동 연상기, Brain-State-in-a-Box 네트워크, 이산 홉필드 네트워크. 홉필드 네트워크는 자동연상 기억의 가장 잘 알려진 예이다.
홉필드 네트워크
홉필드 네트워크는 이진 임계값 노드를 가진 내용 주소화(연상) 기억 시스템으로 작동한다. 이들은 부분 입력에서 완전한 패턴을 회상할 수 있기 때문에 자동연상 기억으로 작동하는 것으로 입증되었다. 네트워크의 역학은 저장된 끌개로 수렴하여 패턴 완성과 노이즈 제거를 가능하게 한다.
이종연상 기억
반대로 이종연상 기억은 한 범주의 데이터가 제시되면 다른 범주의 연관된 데이터를 회상한다. 예를 들어, "바나나" 패턴은 다른 패턴인 "원숭이"를 회상하게 할 수 있다. 양방향 연상 기억(BAM)은 이종연상 회상에 오랫동안 사용된 인공 신경망이다.
예시
아래 문장 조각은 대부분의 영어 사용 성인이 누락된 정보를 회상하기에 충분하다:
- "To be or not to be, that is _____."
- "I came, I saw, _____."
많은 독자는 누락된 정보가 다음과 같다는 것을 깨닫게 된다:
- "To be or not to be, that is the question."
- "I came, I saw, I conquered."
이는 자동연상 네트워크가 일부에서 전체를 회상하는 능력을 보여준다.
응용 분야
자동연상 기억은 Machine learning에서 이미지 노이즈 제거, 데이터 압축, 이상 탐지와 같은 작업에 널리 사용된다. Deep learning 아키텍처는 신경망과 같은 구조에서 생성 모델 및 대규모 언어 모델의 맥락 완성에 자동연상 원리를 통합한다. 하드웨어에서는 내용 주소화 메모리가 AMD 및 Intel 프로세서에 구현되어 고속 조회 작업을 수행한다.
관련 개념
자동연상 기억은 연상 기억 및 내용 주소화 메모리와 밀접하게 관련된다. Artificial intelligence에서는 노이즈 제거 오토인코더 및 홉필드 네트워크와 같은 기술의 기반이 된다. 이 개념은 또한 이종연상 기억 및 양방향 연상 기억과도 연결된다.