ホップフィールドネットワークは、連想記憶としても知られ、リカレントニューラルネットワークの一種であり、エネルギー最小化のプロセスを通じてパターンを保存および検索することができる。物理学者ジョン・ホップフィールドにちなんで名付けられたこのネットワークは、単一層のバイナリニューロンで構成され、各ニューロンは自身以外のすべてのニューロンと双方向かつ対称な重みで接続されている。パターンはヘッブ学習則によって学習され、部分的な入力を固定し、ネットワークを保存されたパターンに対応する局所エネルギー極小値へ動的に進化させることで想起される。これにより、ネットワークはノイズや不完全なデータに対して頑健であり、部分的な手がかりから完全なパターンを回復できる。
このネットワークの起源は、認知心理学と統計力学の両方にある。心理学では、連想記憶モデルは1950年代から1960年代に遡り、W. K. テイラーの1956年のヘッブ学習によるモデル、カール・シュタインブーフのLernmatrix（1961年）、テウヴォ・コホネンの勾配降下による連想記憶（1974年）などが含まれる。物理学では、磁性のイジングモデルが、1963年にロイ・J. グラウバーによって時間依存のダイナミクスで研究され、数学的基盤を提供した。ヘッブ学習によるイジング様システムの適応というアイデアは、フランク・ローゼンブラット（1960年）、中野馨（1971年）、甘利俊一（1972年）、ウィリアム・A. リトル（1974年）によって独立に提案された。ジョン・ホップフィールドの1982年の論文は、これらのアイデアをシャーリントン・カークパトリックのスピングラスモデル（1975年）と統合し、離散ホップフィールドネットワークを確立した。1984年の論文では、連続活性化関数に拡張された。
構造とダイナミクス
ネットワークはN個のバイナリ閾値ユニットで構成され、各ユニットは+1または-1（一部の慣例では0/1）の値を取る。ネットワークの状態はNビットのベクトルVである。異なるニューロンiとjの間の接続は対称であり、保存されたパターンV^sに対して重みw_ij = V_i^s V_j^sを持ち、自己接続w_ii = 0である。想起中、ネットワークはニューロンを非同期に更新し、各ニューロンは重み付き入力が閾値を超えると発火する。このプロセスはエネルギー関数を最小化し、システムを保存されたパターンを表す局所極小値へ駆動する。ヘッブ学習則は複数のパターンを寄与の合計によって保存するが、容量には限界があり、古典的なホップフィールドネットワークはN個のニューロンに対して約0.14N個のパターンを保存できる。
応用と限界
ホップフィールドネットワークは、物理学、心理学、神経科学、機械学習理論に応用されてきた。認知科学における連想記憶のモデルとして、統計力学における神経ダイナミクスの簡略化モデルとして機能する。しかし、バイナリニューロン、限られたスケーラビリティ、勾配ベースの学習との非互換性により、現代の実践では稀である。主に理論的ツールとして、または最適化やパターン補完などの専門的なタスクで使用され、大規模な応用では使用されない。
現代の発展
2016年に、ドミトリー・クロトフとホップフィールドがネットワークのダイナミクスとエネルギー関数を変更して保存容量を増やし、現在では高密度連想記憶または現代ホップフィールドネットワークと呼ばれるものにつながった。デミルチギルと共同研究者は2017年にこのアイデアを拡張し、大容量モデルの連続ダイナミクスは2016年から2020年の一連の論文で開発された。これらの現代的な変種はトランスフォーマーや大規模言語モデルとの関連があり、その注意機構は連想記憶検索の一形態として解釈できる。
遺産
2024年、ジョン・J. ホップフィールドとジェフリー・E. ヒントンは、ホップフィールドネットワークを含む機械学習への基礎的貢献によりノーベル物理学賞を受賞した。このネットワークは、神経システムが情報を保存および検索する方法を理解する上での基盤であり続け、物理学、生物学、計算を橋渡ししている。その原理は、深層学習や生成AIの研究、特にメモリ拡張アーキテクチャにおいて、引き続き情報を提供している。