홉필드 네트워크(Hopfield network)는 연관 기억(associative memory)의 한 형태로, 에너지 최소화 과정을 통해 패턴을 저장하고 검색할 수 있는 순환 신경망이다. 물리학자 존 홉필드(John Hopfield)의 이름을 따서 명명되었으며, 이 네트워크는 단일 계층의 이진 뉴런들로 구성되어 있고, 각 뉴런은 자기 자신을 제외한 모든 다른 뉴런과 양방향으로 연결되어 있다. 가중치는 대칭적이며, 패턴은 헤비안 학습 규칙(Hebbian learning rule)을 통해 학습된다. 검색 과정에서는 일부 입력이 고정된 상태에서 네트워크가 에너지 국소 최솟값(local energy minima)으로 동적으로 수렴하며, 이는 저장된 패턴에 해당한다. 이러한 특성 덕분에 홉필드 네트워크는 잡음이 있거나 불완전한 입력에서도 완전한 패턴을 복원할 수 있다.
이 네트워크의 기원은 인지 심리학과 통계 역학 양쪽에 뿌리를 두고 있다. 심리학에서는 1950년대와 1960년대에 연관 기억 모델이 등장했는데, W. K. 테일러(1956)의 헤비안 학습 기반 모델, 카를 슈타인부흐(Karl Steinbuch)의 Lernmatrix(1961), 그리고 테우보 코호넨(Teuvo Kohonen)의 경사 하강 연관 기억 모델(1974)이 그 예이다. 물리학에서는 로이 J. 글라우버(Roy J. Glauber)가 1963년에 시간 의존적 동역학을 연구한 이징 모형(Ising model)이 수학적 기초를 제공했다. 헤비안 학습을 통해 이징 유사 시스템을 적응시키는 아이디어는 프랭크 로젠블라트(Frank Rosenblatt, 1960), 카오루 나카노(Kaoru Nakano, 1971), 슌이치 아마리(Shun'ichi Amari, 1972), 윌리엄 A. 리틀(William A. Little, 1974)에 의해 독립적으로 제안되었다. 존 홉필드는 1982년 논문에서 이러한 아이디어를 셰링턴-커크패트릭 스핀 유리 모형(Sherrington–Kirkpatrick spin glass model)(1975)과 통합하여 이산 홉필드 네트워크를 확립했고, 1984년 논문에서는 연속 활성화 함수로 확장했다.
네트워크는 N개의 이진 임계값 뉴런으로 구성되며, 각 뉴런은 +1 또는 -1(일부 표기법에서는 0/1)의 값을 가진다. 네트워크의 상태는 N비트 벡터 V로 표현된다. 서로 다른 뉴런 i와 j 사이의 연결 가중치는 w_ij = V_i^s V_j^s로 주어지며, 이는 저장된 패턴 V^s에 대해 대칭적이다. 자기 연결 w_ii는 0으로 설정된다. 검색 과정에서는 뉴런들이 비동기적으로 업데이트되며, 각 뉴런은 가중 입력의 합이 임계값을 초과하면 발화한다. 이 과정은 에너지 함수를 최소화하며, 시스템은 저장된 패턴에 해당하는 국소 최솟값으로 수렴한다. 헤비안 학습 규칙은 여러 패턴을 중첩하여 저장할 수 있지만, 용량에는 한계가 있다. 고전적 홉필드 네트워크는 N개의 뉴런에 대해 약 0.14N개의 패턴만 저장할 수 있다.
홉필드 네트워크는 물리학, 심리학, 신경과학, 그리고 기계 학습 이론에 적용되어 왔다. 이는 인지 과학에서 연관 기억의 모델로, 통계 역학에서 단순화된 신경 동역학 모델로 사용된다. 그러나 이진 뉴런, 제한된 확장성, 경사 기반 학습과의 비호환성 때문에 현대 실무에서는 거의 사용되지 않으며, 주로 이론적 도구나 최적화 및 패턴 완성과 같은 특수 작업에 국한된다.
2016년에는 디미트리 크로토프(Dimitry Krotov)와 홉필드가 네트워크의 동역학과 에너지 함수를 수정하여 저장 용량을 크게 늘렸으며, 이를 현재 밀집 연관 기억(Dense Associative Memories) 또는 현대 홉필드 네트워크라고 부른다. 2017년에는 데미르치길(Demircigil)과 협력자들이 이 아이디어를 확장했고, 2016년부터 2020년까지 일련의 논문을 통해 대용량 모델을 위한 연속 동역학이 개발되었다. 이러한 현대적 변형들은 트랜스포머 및 대규모 언어 모델과 연결되며, 그들의 주의 메커니즘(attention mechanism)이 연관 기억 검색의 한 형태로 해석될 수 있다.
2024년에는 존 J. 홉필드와 제프리 E. 힌턴(Geoffrey E. Hinton)이 기계 학습에 대한 기초적 기여, 특히 홉필드 네트워크를 포함한 연구로 노벨 물리학상을 수상했다. 이 네트워크는 신경 시스템이 정보를 저장하고 검색하는 방식을 이해하는 데 있어 여전히 초석이 되고 있으며, 그 원리는 심층 학습 및 생성형 AI, 특히 메모리 증강 아키텍처 연구에 계속해서 영향을 미치고 있다.