Autoassoziatives Gedächtnis, auch bekannt als Autoassoziationsgedächtnis oder Autoassoziationsnetzwerk, ist jede Art von Gedächtnis, das ein Datenelement aus nur einer winzigen Stichprobe seiner selbst abrufen kann. Diese Fähigkeit macht es effektiv zum Entrauschen von Eingaben, zum Entfernen von Störungen und zur Bestimmung, ob eine gegebene Eingabe basierend auf gespeicherten Mustern "bekannt" oder "unbekannt" ist. In künstlichen neuronalen Netzen umfassen Beispiele variationale Autoencoder, Entrauschungs-Autoencoder und Hopfield-Netze. In Computerspeichersystemen wird das Konzept auch als inhaltsadressierbarer Speicher (CAM) bezeichnet. Das Netzwerk erkennt einen "bekannten" Vektor, wenn es ein Ausgabeaktivierungsmuster erzeugt, das mit einem der gespeicherten Vektoren identisch ist.
Hintergrund
Die Standarddatenspeicherung wird über positionsbasierte Speicheradressen indiziert, die zum Abruf verwendet werden. Autoassoziative Gedächtnisse sind dagegen in einer graphartigen Struktur organisiert, in der Verbindungsgewichte die inhärenten assoziativen Verbindungen zwischen Gedächtnissen widerspiegeln. Dies ermöglicht Abfragen mit einem Gedächtnisfragment als Schlüssel, wobei dieses Gedächtnis und eng verbundene gleichzeitig abgerufen werden. Es wurde gezeigt, dass Hopfield-Netze als autoassoziative Gedächtnisse fungieren, da sie Daten durch Beobachtung eines Teils davon erinnern können.
Iterative autoassoziative Netze
In einigen Fällen reproduziert ein autoassoziatives Netz ein gespeichertes Muster nicht beim ersten Versuch, aber wenn die Ausgabe als Eingabe zurückgeführt wird, erscheint das gespeicherte Muster. Es existieren drei weitere Typen: der rekurrente lineare Autoassociator, das Brain-State-in-a-Box-Netz und das diskrete Hopfield-Netz. Das Hopfield-Netz ist das bekannteste Beispiel für ein autoassoziatives Gedächtnis.
Hopfield-Netz
Hopfield-Netze dienen als inhaltsadressierbare (assoziative) Gedächtnissysteme mit binären Schwellenwertknoten. Es wurde gezeigt, dass sie als autoassoziative Gedächtnisse fungieren, da sie vollständige Muster aus teilweisen Eingaben abrufen können. Die Dynamik des Netzwerks konvergiert zu gespeicherten Attraktoren, was Mustervervollständigung und Rauschentfernung ermöglicht.
Heteroassoziatives Gedächtnis
Heteroassoziative Gedächtnisse rufen dagegen ein assoziiertes Datenelement aus einer Kategorie ab, wenn Daten aus einer anderen Kategorie präsentiert werden. Zum Beispiel könnte das Muster "Banane" den Abruf des unterschiedlichen Musters "Affe" auslösen. Bidirektionale assoziative Gedächtnisse (BAM) sind künstliche neuronale Netze, die seit langem für heteroassoziativen Abruf verwendet werden.
Beispiel
Die Satzfragmente unten sind für die meisten englischsprachigen Erwachsenen ausreichend, um die fehlenden Informationen abzurufen:
- "Sein oder Nichtsein, das ist _____."
- "Ich kam, ich sah, _____."
Viele Leser werden erkennen, dass die fehlenden Informationen sind:
- "Sein oder Nichtsein, das ist hier die Frage."
- "Ich kam, ich sah, ich siegte."
Dies demonstriert die Fähigkeit autoassoziative Netzwerke, das Ganze aus einigen seiner Teile abzurufen.
Anwendungen
Autoassoziative Gedächtnisse werden häufig in Machine learning für Aufgaben wie Bildentrauschung, Datenkompression und Anomalieerkennung verwendet. Deep learning-Architekturen wie neuronale Netze integrieren autoassoziative Prinzipien in generative Modelle und große Sprachmodelle für Kontextvervollständigung. In Hardware wird inhaltsadressierbarer Speicher in AMD- und Intel-Prozessoren für Hochgeschwindigkeits-Nachschlageoperationen implementiert.
Verwandte Konzepte
Autoassoziatives Gedächtnis ist eng verwandt mit assoziativem Gedächtnis und inhaltsadressierbarem Speicher. In Artificial intelligence untermauert es Techniken wie Entrauschungs-Autoencoder und Hopfield-Netze. Das Konzept verbindet sich auch mit heteroassoziativem Gedächtnis und bidirektionalem assoziativem Gedächtnis.