Ein differenzierbarer neuronaler Computer (DNC) ist eine Art künstliches neuronales Netz, das mit einem externen Speicherbank erweitert ist, auf den in vollständig differenzierbarer Weise zugegriffen und geschrieben werden kann. Im Gegensatz zu Standard-Neuronalen Netzen, die Informationen implizit in ihren Gewichten und verborgenen Zuständen speichern, verfügt ein DNC über eine explizite Speichermatrix, auf die es mithilfe gelernter Aufmerksamkeitsmechanismen zugreifen kann. Dieses Design ermöglicht es dem Netzwerk, das Speichern und Abrufen von Informationen über lange Zeithorizonte zu lernen, was es für Aufgaben geeignet macht, die algorithmisches Denken, Beantwortung von Fragen und Manipulation strukturierter Daten umfassen. Die Architektur wurde 2016 von Forschern bei Google DeepMind eingeführt und baut auf früheren Arbeiten zur neuronalen Turing-Maschine auf.
Die wichtigste Innovation des DNC ist sein differenzierbarer Speicherzugriff. Der Controller, typischerweise ein rekurrentes neuronales Netz, gibt Lese- und Schreibköpfe aus, die Aufmerksamkeitsverteilungen über Speicherorte erzeugen. Diese Verteilungen werden mithilfe von Softmax-Funktionen berechnet, was den gesamten Lese- und Schreibprozess differenzierbar macht und es dem Netzwerk ermöglicht, end-to-end mit Gradientenabstieg trainiert zu werden. Der Speicher ist als Matrix aus reellwertigen Vektoren organisiert, und der Controller kann neue Daten schreiben, vorhandene Daten löschen und gleichzeitig von mehreren Orten lesen. Um zu verhindern, dass das Netzwerk wichtige Informationen überschreibt, enthält der DNC auch eine zeitliche Verknüpfungsmatrix, die die Reihenfolge verfolgt, in der Speicherorte beschrieben wurden, und es dem Netzwerk ermöglicht, Sequenzen von Operationen abzurufen.
Der DNC wurde bei mehreren Aufgaben demonstriert, die komplexes Denken und Langzeitgedächtnis erfordern. In der ursprüchen 2016er Arbeit trainierten die Autoren DNCs, um Fragen zu Geschichten zu beantworten, sich in einem virtuellen Labyrinth zurechtzufinden und fehlende Informationen aus Graphen abzuleiten. Das Netzwerk lernte erfolgreich, Sequenzen beliebiger Länge zu kopieren, Listen zu sortieren und Graphen zu durchlaufen - Aufgaben, die für Standard-rekurrente Netze schwierig sind. Der DNC zeigte auch die Fähigkeit, auf Eingabegrößen zu generalisieren, die größer sind als die während des Trainings gesehenen, eine Eigenschaft, die für algorithmische Aufgaben entscheidend ist.
Architektur und Komponenten
Der DNC besteht aus drei Hauptkomponenten: einem Controller, einer Speichermatrix und einem Satz von Lese- und Schreibköpfen. Der Controller ist normalerweise ein Long Short-Term Memory (LSTM)-Netzwerk oder ein Feedforward-Netzwerk mit rekurrenten Verbindungen. Bei jedem Zeitschritt erhält der Controller eine Eingabe und die Ausgaben der Leseköpfe vom vorherigen Zeitschritt. Er erzeugt dann eine Reihe von Steuersignalen, die bestimmen, wie auf den Speicher zugegriffen wird. Diese Signale umfassen den Schreibort, den Schreibinhalt, den Löschvektor und die Leseorte.
Die Speichermatrix hat die Dimensionen N mal M, wobei N die Anzahl der Speicherorte und M die Größe jedes Ortes ist. Der Schreibkopf verwendet eine Kombination aus inhaltsbasierter Adressierung und ortsbasierter Adressierung. Die inhaltsbasierte Adressierung berechnet eine Ähnlichkeit zwischen dem Schreibschlüssel und jedem Speicherort, während die ortsbasierte Adressierung die zeitliche Verknüpfungsmatrix verwendet, um die Aufmerksamkeit auf nahegelegene Orte zu verschieben. Die Leseköpfe funktionieren ähnlich und erzeugen Lesgewichte, die verwendet werden, um eine gewichtete Summe der Speicherinhalte zu berechnen.
Die zeitliche Verknüpfungsmatrix ist ein Schlüsselmerkmal des DNC. Sie zeichnet die Reihenfolge auf, in der Speicherorte zuletzt beschrieben wurden, wobei Einträge anzeigen, ob ein Ort unmittelbar nach einem anderen beschrieben wurde. Dies ermöglicht es dem Netzwerk, den Speicher in sequenzieller Reihenfolge zu lesen, was für Aufgaben wie das Kopieren einer Sequenz oder das Durchlaufen eines Graphen wesentlich ist. Die Verknüpfungsmatrix wird bei jedem Zeitschritt basierend auf den Schreibgewichten aktualisiert und auch verwendet, um eine Rückwärts- und Vorwärtsverschiebung für die Leseköpfe zu berechnen.
Training und Optimierung
Der DNC wird mit standardmäßiger Backpropagation durch die Zeit trainiert, wobei die Verlustfunktion typischerweise eine Kreuzentropie oder ein mittlerer quadratischer Fehler ist, abhängig von der Aufgabe. Da alle Operationen im Speicherzugriff differenzierbar sind, können Gradienten durch die Aufmerksamkeitsmechanismen und die Speicheraktualisierungen fließen. Das Training eines DNC kann jedoch aufgrund der großen Anzahl von Parametern und der Notwendigkeit einer sorgfältigen Initialisierung herausfordernd sein. Die Autoren verwendeten eine Kombination aus Gradienten-Clipping und einem Lernratenplan, um das Training zu stabilisieren. Sie stellten auch fest, dass die Verwendung einer kleinen Menge Rauschen während des Trainings dem Netzwerk half, besser zu generalisieren.
Eine der Hauptschwierigkeiten besteht darin, dass der Speicher auf viele verschiedene Arten verwendet werden kann und das Netzwerk lernen muss, Speicher effizient zuzuweisen. Um dies zu adressieren, enthält der DNC eine freie Liste, die verfolgt, welche Speicherorte derzeit nicht verwendet werden. Der Schreibkopf schreibt bevorzugt auf Orte in der freien Liste, und nach einem Schreibvorgang wird der Ort von der freien Liste entfernt, bis er gelesen und dann wieder freigegeben wird. Dieser Mechanismus ermutigt das Netzwerk, Speicher wiederzuverwenden und verhindert, dass wichtige Daten überschrieben werden.
Anwendungen und Einschränkungen
DNCs wurden auf eine Vielzahl von Aufgaben über die ursprünglichen Demonstrationen hinaus angewendet. Sie wurden für die Programmsynthese verwendet, bei der das Netzwerk lernt, Code zu generieren oder einfache Programme auszuführen. Sie wurden auch für die Beantwortung von Fragen über Wissensbasen erforscht, bei denen der Speicher Fakten speichern kann und das Netzwerk lernt, sie abzurufen und zu kombinieren. Im Bereich des maschinellen Lernens werden DNCs oft als wichtiger Schritt hin zu neuronalen Netzen zitiert, die explizites Denken durchführen und symbolische Daten manipulieren können.
DNCs haben jedoch mehrere Einschränkungen. Sie sind rechenintensiv, da die Speicherzugriffsoperationen O(N^2) Zeit pro Schritt aufgrund der zeitlichen Verknüpfungsmatrix erfordern. Dies macht es schwierig, sie auf große Speichergrößen zu skalieren. Sie kämpfen auch mit sehr langen Sequenzen, da der Speicher unübersichtlich werden kann und die Aufmerksamkeitsmechanismen möglicherweise nicht in der Lage sind, sich auf die richtigen Orte zu konzentrieren. Infolgedessen wurden DNCs weitgehend durch andere Architekturen wie Transformatoren ersetzt, die Selbstaufmerksamkeit verwenden, um auf Informationen über die gesamte Eingabesequenz zuzugreifen. Dennoch haben die Ideen von DNCs spätere Arbeiten an speichererweiterten neuronalen Netzen und externem Speicher im Deep Learning beeinflusst.
Beziehung zu anderen Architekturen
Der DNC ist eine Erweiterung der neuronalen Turing-Maschine (NTM), die 2014 von Alex Graves, Greg Wayne und Ivo Danihelka eingeführt wurde. Die NTM hatte eine ähnliche Struktur, aber es fehlten die zeitliche Verknüpfungsmatrix und die freie Liste, was sie weniger effektiv beim Lernen sequenzieller Operationen machte. Der DNC teilt auch konzeptionelle Ähnlichkeiten mit Residualnetzen, da beide darauf abzielen, den Informationsfluss zu verbessern, aber sie operieren in unterschiedlichen Bereichen: Residualnetze adressieren verschwindende Gradienten in tiefen Feedforward-Netzen, während DNCs Langzeitgedächtnis in rekurrenten Netzen adressieren.
Im Kontext des Deep Learnings sind DNCs Teil eines breiteren Trends, neuronale Netze mit externen Komponenten wie Aufmerksamkeitsmechanismen und Speicher zu erweitern. Die Multi-Head-Aufmerksamkeit, die in Transformatoren verwendet wird, kann als eine Form des inhaltsbasierten Speicherzugriffs gesehen werden, jedoch ohne die expliziten Schreib- und Löschoperationen. DNCs beziehen sich auch auf Curriculum-Lernen, da die Autoren feststellten, dass das Training auf Aufgaben mit zunehmender Schwierigkeit dem Netzwerk half, komplexere Verhaltensweisen zu lernen.
Vermächtnis und Einfluss
Obwohl DNCs heute nicht weit verbreitet in Produktionssystemen verwendet werden, haben sie einen bleibenden Einfluss auf das Feld der künstlichen Intelligenz gehabt. Sie zeigten, dass neuronale Netze lernen können, algorithmische Aufgaben auszuführen, die explizite Speichermanipulation erfordern, was zuvor als außerhalb der Reichweite gradientenbasierter Methoden angesehen wurde. Das Konzept des differenzierbaren Speichers wurde in verschiedene andere Modelle integriert, wie speichererweiterte neuronale Netze für Few-Shot-Lernen und differenzierbare neuronale Computer für Graphenlogik. Die Arbeit inspirierte auch Forschung zu differenzierbarem Sortieren und differenzierbaren Datenstrukturen, die Anwendungen in generativer KI und darüber hinaus haben.
Der DNC wurde von einem Team bei DeepMind entwickelt, darunter Alex Graves, Greg Wayne und andere. Ihr Papier mit dem Titel "Hybrid computing using a neural network with dynamic external memory" wurde im Oktober 2016 in Nature veröffentlicht. Der Code für den DNC wurde später als Open Source veröffentlicht, sodass Forscher mit der Architektur experimentieren konnten. Obwohl der DNC selbst als historischer Meilenstein betrachtet werden kann, beeinflussen seine Prinzipien weiterhin das Design moderner neuronaler Netze, die Langzeitgedächtnis und Denkfähigkeiten erfordern.