自己連想記憶(オートアソシエーション記憶、またはオートアソシエーションネットワークとも呼ばれる)は、データのごく一部のサンプルだけからそのデータを取得できるあらゆるタイプの記憶である。この能力により、入力のノイズ除去、干渉の除去、および保存されたパターンに基づいて特定の入力が「既知」か「未知」かを判断することに効果的である。人工ニューラルネットワークでは、変分オートエンコーダー、デノイジングオートエンコーダー、ホップフィールドネットワークなどが例として挙げられる。コンピュータメモリシステムでは、この概念は連想メモリ(CAM)とも呼ばれる。ネットワークは、保存されたベクトルのいずれかと同一の出力活性化パターンを生成する場合に、「既知」のベクトルを認識したと見なされる。
背景
標準的なデータストレージは、取得に使用される位置メモリアドレスによってインデックス付けされる。対照的に、自己連想記憶は、接続重みがメモリ間の固有の連想接続を反映するグラフ状の構造で編成されている。これにより、メモリフラグメントをキーとして使用するクエリが可能になり、そのメモリと密接に関連するメモリを同時に取得できる。ホップフィールドネットワークは、データの一部を観察することでデータを記憶できるため、自己連想記憶として機能することが示されている。
反復自己連想ネットワーク
場合によっては、自己連想ネットワークは最初の試行で保存されたパターンを再現しないが、出力が入力としてフィードバックされると、保存されたパターンが現れる。さらに3つのタイプが存在する、すなわち、再帰的線形自己連想器、Brain-State-in-a-Boxネットワーク、および離散ホップフィールドネットワークである。ホップフィールドネットワークは、自己連想記憶の最もよく知られた例である。
ホップフィールドネットワーク
ホップフィールドネットワークは、バイナリしきい値ノードを備えた連想メモリシステムとして機能する。部分的な入力から完全なパターンを呼び出すことができるため、自己連想記憶として機能することが示されている。ネットワークのダイナミクスは保存されたアトラクタに収束し、パターン補完とノイズ除去を可能にする。
異種連想記憶
対照的に、異種連想記憶は、あるカテゴリのデータを提示すると、別のカテゴリの関連するデータを呼び出す。例えば、「バナナ」というパターンは、異なるパターンである「サル」を呼び出すかもしれない。双方向連想メモリ(BAM)は、異種連想呼び出しに長い間使用されてきた人工ニューラルネットワークである。
例
以下の文の断片は、ほとんどの英語を話す成人が欠落情報を思い出すのに十分である。
- 「生きるべきか死ぬべきか、それが_____。」
- 「私は来た、見た、_____。」
多くの読者は、欠落情報が以下であることに気づくだろう。
- 「生きるべきか死ぬべきか、それが問題だ。」
- 「私は来た、見た、征服した。」
これは、自己連想ネットワークが部分から全体を思い出す能力を示している。
応用
自己連想記憶は、画像ノイズ除去、データ圧縮、異常検出などのタスクのためにMachine learningで広く使用されている。Deep learningアーキテクチャは、生成モデルや大規模言語モデルにおける文脈補完のために、ニューラルネットワークに自己連想の原理を組み込んでいる。ハードウェアでは、連想メモリは高速ルックアップ操作のためにAMDおよびIntelプロセッサに実装されている。
関連概念
自己連想記憶は、連想記憶および連想メモリと密接に関連している。Artificial intelligenceでは、デノイジングオートエンコーダーやホップフィールドネットワークなどの技術の基盤となっている。この概念は、異種連想記憶や双方向連想メモリにも関連している。