Ein rekurrentes neuronales Netzwerk, oder RNN, ist eine Architektur neuronaler Netze, die darauf ausgelegt ist, sequenzielle Daten zu verarbeiten, indem sie einen internen verborgenen Zustand aufrechterhält, der bei jedem Schritt aktualisiert und weitergetragen wird, um zu beeinflussen, wie nachfolgende Eingaben verarbeitet werden. Im Gegensatz zu Feedforward-Netzwerken, die eine feste Eingabe auf eine feste Ausgabe abbilden, ohne Erinnerung an frühere Eingaben, teilen RNNs dieselben Gewichte über jeden Schritt einer Sequenz und können prinzipiell Informationen aus beliebig weit zurückliegenden Teilen dieser Sequenz nutzen, um jede neue Vorhersage zu informieren
Geschichte
Frühe rekurrente Architekturen umfassten John Hopfields Hopfield-Netzwerk von 1982, ein assoziatives Gedächtnismodell, sowie das einfache rekurrente Netzwerk, das von Jeffrey Elman im Jahr 1990 vorgeschlagen wurde, welches zeigte, dass ein Netzwerk lernen konnte, grammatikalische Strukturen in einem Strom von Wörtern zu repräsentieren, ohne dass ihm die Regeln explizit mitgeteilt wurden. Während der 1990er und 2000er Jahre waren RNNs die Standardarchitektur für Sequenzaufgaben in natürlicher Sprachverarbeitung und Spracherkennung, aber einfache RNNs erwiesen sich als schwierig zu trainieren auf langen Sequenzen, weil Gradienten, die durch Rückpropagierung durch die Zeit berechnet werden, dazu neigen, exponentiell mit der Sequenzlänge zu schrumpfen oder zu explodieren, ein Problem, das formal von Sepp Hochreiter im Jahr 1991 analysiert wurde. Dieses Problem der verschwindenden und explodierenden Gradienten motivierte die LSTM-Architektur im Jahr 1997 und, später, die einfachere Gated Recurrent Unit, die beide Gating-Mechanismen hinzufügten, die Gradienten stabiler über viele Schritte fließen ließen
Architektur und Training
Ein RNN verarbeiteteine Sequenz ein Element nach dem anderen, indem esdie aktuelle Eingabe mit dem verborgenen Zustand kombiniert, der vom vorherigen Schritt übernommen wurde, um einen neuen verborgenen Zustand zu erzeugen und, optional, eine Ausgabe an diesem Schritt. Das Training verwendet Backpropagation durch die Zeit, welche die rekurrente Berechnung über alle Schritte einer Sequenz entfaltet und gewöhnliche Gradientenabstiegsverfahren auf das resultierende, effektiv sehr tiefe, entfaltete Netzwerk anwendet. Diese Entfaltung ist auch der Hauptnachteil von RNNs hinsichtlich der Rechenleistung: Da jeder Schritt von der Ausgabe des vorherigen abhängt, muss die Sequenz weitgehend Schritt für Schritt verarbeitet werden, anstatt parallel, was RNNs langsam im Training auf den langen Sequenzen und großen Datensätzen machte, die in den 2010er Jahren Standard wurden
Höhepunkt und Niedergang
RNNs, und insbesondere gestapelte LSTM-Varianten, trieben die erste Generation praktischer maschineller Übersetzung-und Sprachsysteme durch Architekturen wie Seq2seq, eingeführt im Jahr 2014, welche einen Encoder-RNN, dereine Eingabesequenz in einen festen Vektor komprimierte, mit einem Decoder-RNN paarten, der die Ausgabesequenz daraus erzeugte. Aufmerksamkeitsmechanismen, die um 2015 zu Seq2seq-Modellen hinzugefügt wurden, um dem Decoder zu ermöglichen, auf alle Encoder-Zustände zurückzublicken, anstatt sich auf einen einzelnen komprimierten Vektor zu verlassen, verbesserten sowohl die Übersetzungsqualität als auch bereiteten die Bühne für die Transformer-Architektur von 2017, welche Rekurrenz vollständig zugunsten von Selbstaufmerksamkeit verwarf und vollständig parallel trainierbar war. Da Transformer die Leistung von RNNs erreichten oder übertrafen, während sie viel schneller auf der damals verfügbaren GPU-Hardware trainierten, verdrängten sie RNNs als dominante Sequenzarchitektur für große Sprachmodelle und den Großteil von natürlicher Sprachverarbeitung innerhalb weniger Jahre
Vermächtnis
RNNs bleiben in Umgebungen mit strengen Speicher- oder Latenzbeschränkungen im Einsatz sowie in einigen Zeitreihen-und Regelungsanwendungen, und ihre Kernidee, dass ein verborgenen Zustand fester Größe eine unbegrenzt lange Geschichte zusammenfassen kann, tauchte Mitte der 2020er Jahre in Zustandsraummodellen wie Mamba wieder auf, die darauf abzielen, RNN-ähnliche Inferenz mit linearer Zeitkomplexität mit Trainingseffizienz näher an Transformatoren zu kombinieren.