Instantaneously trainierte neuronale Netze sind eine Klasse von vorwärtsgekoppelten künstlichen neuronalen Netzen, die für jedes neu auftretende Trainingsbeispiel einen neuen verborgenen Neuronenknoten erstellen. Die diesem neu erstellten verborgenen Neuron zugewiesenen Gewichte sind so ausgelegt, dass sie nicht nur das spezifische Trainingsbeispiel, sondern auch andere in seiner Nähe liegende Beispiele trennen, wodurch eine Form der Generalisierung erreicht wird. Diese Trennung wird mithilfe der nächsten Hyperebene erreicht, die sofort, ohne iterative Optimierung, aufgeschrieben werden kann. In den beiden bekanntesten Implementierungen variiert die Nachbarschaft der Generalisierung entweder mit dem Trainingsbeispiel (das CC1-Netzwerk) oder bleibt konstant (das CC4-Netzwerk). Diese Netzwerke verwenden typischerweise eine Unärcodierung für eine effektive Darstellung der Eingabedatensätze.
Das Konzept wurde erstmals in einem Papier von 1993 von Subhash Kak vorgeschlagen. Seit dieser Einführung wurden instantaneously trainierte neuronale Netze als Modelle des Kurzzeitlernens in biologischen Systemen vorgeschlagen und auf praktische Aufgaben angewendet, wie Websuche, Prognose von Finanzzeitreihen, sofortige Klassifizierung von Dokumenten sowie als Komponenten in Deep-Learning- und Data-Mining-Pipelines. Wie bei den meisten neuronalen Netzen erfolgt ihre normale Verwendung als Software, sie wurden jedoch auch in Hardware mithilfe von feldprogrammierbaren Gate-Arrays (FPGAs) und durch optische Implementierungen umgesetzt.
CC4-Netzwerkarchitektur
Das CC4-Netzwerk ist eine dreistufige Vorwärtskopplungsarchitektur. Seine Eingabeschicht enthält eine Anzahl von Knoten, die der Größe des Trainingsvektors plus einem zusätzlichen Knoten entspricht, der als Bias-Knoten dient, dessen Eingabe immer auf 1 gesetzt ist. Für binäre Eingabevektoren werden die Gewichte von den Eingabeknoten zu einem verborgenen Neuron (indiziert mit j), das einem trainierten Vektor entspricht, durch eine spezifische Formel definiert. Für jede Eingabekomponente xi wird das Gewicht wij auf -1 gesetzt, wenn xi gleich 0 ist, und auf +1, wenn xi gleich 1 ist. Für den Bias-Knoten (i = n+1) wird das Gewicht auf r - s + 1 gesetzt, wobei r der Generalisierungsradius und s das Hamming-Gewicht (die Anzahl der Einsen) der binären Sequenz ist.
Die Neuronen der verborgenen Schicht und die Neuronen der Ausgabeschicht verwenden beide eine Schwellenwert-Aktivierungsfunktion: Sie geben 1 aus, wenn die gewichtete Summe ihrer Eingaben 0 oder positiv ist, und 0, wenn die gewichtete Summe negativ ist. Von der verborgenen Schicht zur Ausgabeschicht sind die Gewichte entweder 1 oder -1, abhängig davon, ob der entsprechende Vektor zu einer gegebenen Ausgabeklasse gehört. Diese Architektur ermöglicht es dem Netzwerk, neue Eingaben basierend auf ihrer Nähe zu zuvor gespeicherten Trainingsbeispielen zu klassifizieren, wobei der Radius r die Größe der Generalisierungsnachbarschaft steuert.
CC1-Netzwerk und Variationen
Das CC1-Netzwerk unterscheidet sich vom CC4-Netzwerk dadurch, dass der Generalisierungsradius nicht konstant ist, sondern mit jedem Trainingsbeispiel variiert. Dies ermöglicht es dem Netzwerk, sein Generalisierungsverhalten lokal anzupassen, was potenziell eine bessere Leistung in Regionen des Eingaberaums mit variierender Datendichte bietet. Das CC4-Netzwerk wurde auch modifiziert, um nicht-binäre Eingabevektoren mit variierenden Generalisierungsradien zu akzeptieren, was effektiv eine CC1-Implementierung innerhalb des CC4-Rahmens darstellt. Diese Modifikationen erweitern die Anwendbarkeit von instantaneously trainierten neuronalen Netzen über rein binäre Daten hinaus.
Verwandte Instantane Lernmodelle
Über Vorwärtskopplungsarchitekturen hinaus zeigen auch andere neuronale Netzmodelle instantane Lernfähigkeiten. Das Willshaw-Netzwerk, eine Art assoziatives Gedächtnis, kann Muster in einer einzigen Präsentation speichern und abrufen. Ebenso kann das Hopfield-Netzwerk, ein rekurrentes neuronales Netz, das für assoziatives Gedächtnis und Optimierung verwendet wird, Muster instantan durch eine One-Shot-Hebbian-Lernregel lernen. Diese Feedback-Netzwerke teilen die Eigenschaft des schnellen, einpassigen Lernens mit den vorwärtsgekoppelten instantaneously trainierten neuronalen Netzen, obwohl sich ihre Funktionsprinzipien und Anwendungen unterscheiden.
Anwendungen und Implementierungen
Instantaneously trainierte neuronale Netze wurden aufgrund ihrer schnellen Trainingsgeschwindigkeit und Einfachheit in mehreren Bereichen angewendet. In der Websuche wurden sie für die sofortige Klassifizierung von Dokumenten verwendet, was eine schnelle Kategorisierung von Webseiten oder Suchergebnissen ermöglicht. Bei der Prognose von Finanzzeitreihen macht ihre Fähigkeit, aus neuen Datenpunkten zu lernen, ohne das gesamte Netzwerk neu zu trainieren, sie für adaptive Vorhersagen geeignet. Sie wurden auch als Modelle des Kurzzeitlernens in der Kognitionswissenschaft untersucht, wo die schnelle Aufnahme neuer Informationen ein Schlüsselmerkmal ist. Hardware-Implementierungen mit FPGAs wurden demonstriert, und optische Implementierungen wurden vorgeschlagen, die die parallele Natur der Berechnungen des Netzwerks nutzen.