Eine neuronale Turing-Maschine (NTM) ist ein rekurrentes neuronales Netzwerkmodell einer Turing-Maschine. Der Ansatz wurde 2014 von Alex Graves et al. veröffentlicht und kombiniert die Fähigkeiten des unscharfen Musterabgleichs von neuronalen Netzwerken mit der algorithmischen Leistungsfähigkeit programmierbarer Computer. NTMs sind darauf ausgelegt, einfache Algorithmen anhand von Beispielen zu erlernen, indem sie einen externen Speicher verwenden, der während der Berechnung gelesen und beschrieben werden kann.
Eine NTM besteht aus einem neuronalen Netzwerk-Controller, der mit externen Speicherressourcen gekoppelt ist und über Aufmerksamkeitsmechanismen mit diesen interagiert. Die Speicherinteraktionen sind durchgängig differenzierbar, was es ermöglicht, sie mittels Gradientenabstieg zu optimieren. Diese Differenzierbarkeit erlaubt es, das gesamte System mit standardmäßigen maschinellen Lernverfahren wie Backpropagation zu trainieren, ohne dass diskrete oder nicht-differenzierbare Operationen erforderlich sind.
Architektur und Funktionsweise
Der Controller in einer NTM ist typischerweise ein rekurrentes neuronales Netzwerk, wie ein Long-Short-Term-Memory-Netzwerk (LSTM), das Eingaben empfängt und Ausgaben erzeugt, während es gleichzeitig Befehle zum Lesen aus und Schreiben in den externen Speicher ausgibt. Der Speicher ist eine Matrix mit reellwertigen Einträgen, und der Controller verwendet Aufmerksamkeitsgewichte, um zu bestimmen, welche Speicherpositionen zugegriffen werden. Diese Gewichte werden mithilfe von inhaltsbasierter Adressierung berechnet, die den aktuellen Controller-Zustand mit den Speicherinhalten vergleicht, sowie positionsbasierter Adressierung, die Verschiebungen der Aufmerksamkeit ermöglicht, um Operationen wie Iteration zu unterstützen.
Die Lese- und Schreiboperationen sind so gestaltet, dass sie differenzierbar sind. Eine Leseoperation erzeugt eine gewichtete Summe von Speicherzeilen, während eine Schreiboperation einen Löschvektor und einen Additionsvektor kombiniert, die mit Aufmerksamkeitsgewichten skaliert werden, um Speichereinträge zu aktualisieren. Dieses Design ermöglicht es dem Netzwerk, Informationen auf eine Weise zu speichern und abzurufen, die für eine gradientenbasierte Optimierung geeignet ist.
Lernfähigkeiten
Eine NTM mit einem LSTM-Netzwerk-Controller kann einfache Algorithmen wie Kopieren, Sortieren und assoziatives Abrufen allein aus Beispielen ableiten. In Experimenten haben NTMs gezeigt, dass sie diese Aufgaben mit weniger Trainingsbeispielen lernen können als herkömmliche rekurrente Netzwerke, und sie können auf längere Eingabesequenzen generalisieren als die, die während des Trainings gesehen wurden. Diese Fähigkeit ergibt sich aus dem expliziten externen Speicher, der ein stabiles Speichermedium bietet, das der Controller manipulieren lernt.
Das ursprüngliche Paper von Graves und Kollegen zeigte, dass NTMs lernen konnten, eine Sequenz beliebiger Länge zu kopieren, eine Liste von Zahlen zu sortieren und assoziatives Abrufen durchzuführen, bei dem das Netzwerk ein gespeichertes Element anhand eines partiellen Hinweises abruft. Diese Aufgaben verdeutlichen die Fähigkeit des Modells, Mustererkennung mit algorithmischem Denken zu kombinieren.
Implementierungen und Herausforderungen
Die Autoren des ursprünglichen NTM-Papers veröffentlichten ihren Quellcode nicht. Die erste stabile Open-Source-Implementierung wurde 2018 auf der 27. International Conference on Artificial Neural Networks veröffentlicht und mit einem Best-Paper-Preis ausgezeichnet. Es existieren weitere Open-Source-Implementierungen, die jedoch Stand 2018 nicht ausreichend stabil für den Produktionseinsatz sind. Entwickler dieser Implementierungen haben verschiedene Probleme berichtet, darunter Gradienten, die während des Trainings manchmal aus unbekannten Gründen NaN werden und das Training zum Scheitern bringen; langsame Konvergenz; oder das Fehlen von Berichten über die Lerngeschwindigkeit.
Diese Herausforderungen resultieren aus der Komplexität des Trainings rekurrenter Netzwerke mit externem Speicher, da die Aufmerksamkeitsmechanismen und Speicheraktualisierungen zu instabilen Gradienten führen können. Die preisgekrönte Implementierung von 2018 adressierte einige dieser Probleme durch architektonische Verfeinerungen und Trainingsstrategien, aber die breitere Akzeptanz bleibt begrenzt.
Einfluss und Erweiterungen
Differentiable Neural Computers sind eine Weiterentwicklung der neuronalen Turing-Maschinen mit Aufmerksamkeitsmechanismen, die steuern, wo der Speicher aktiv ist, und verbessern die Leistung. Eingeführt von Forschern bei Google DeepMind im Jahr 2016, erweitern differentiable Neural Computers NTMs um ausgefeiltere Speicherzugriffsmuster wie zeitliche Verknüpfung und Speicherzuweisung, wodurch sie Aufgaben wie Graphtraversierung und Beantwortung von Fragen lösen können.
Das NTM-Konzept hat auch die Forschung im Deep Learning und in der künstlichen Intelligenz im weiteren Sinne beeinflusst, insbesondere in Bereichen, in denen Modelle strukturierte Informationen über lange Zeiträume speichern und manipulieren müssen. Während große Modelle wie Transformatoren NTMs in vielen Anwendungen weitgehend ersetzt haben, bleibt die Idee des differenzierbaren externen Speichers ein grundlegendes Konzept in der Untersuchung neuronaler Architekturen, die Lernen mit symbolischem Denken kombinieren.
Einschränkungen
Trotz ihrer theoretischen Attraktivität haben NTMs praktische Einschränkungen. Das Training kann rechenintensiv und instabil sein, wie in den Implementierungsherausforderungen erwähnt. Zudem haben NTMs Schwierigkeiten mit sehr großen Speichergrößen, da die Aufmerksamkeitsmechanismen mit der Speichergröße skalieren. Darüber hinaus wurden NTMs nicht breit in Produktionssystemen übernommen, wobei praktische Anwendungen Architekturen bevorzugen, die einfacher zu trainieren und zu skalieren sind, wie große Sprachmodelle.
Die Forschung zu speichererweiterten neuronalen Netzwerken läuft weiter, wobei neuere Arbeiten hybride Ansätze untersuchen, die NTMs mit modernen Architekturen kombinieren. Stand Ende der 2010er Jahre bleiben NTMs jedoch hauptsächlich ein Forschungsinstrument und kein Technologien für den Produktionseinsatz.
Referenzen
Graves, A., Wayne, G., & Danihelka, I. (2014). Neural Turing Machines. arXiv preprint arXiv:1410.5401.
Collier, M., & Beel, J. (2018). Implementing Neural Turing Machines. In Proceedings of the 27th International Conference on Artificial Neural Networks.