Long Short-Term Memory, kurz LSTM, ist eine Architektur für rekurrente neuronale Netze, die entwickelt wurde, um langfristige Abhängigkeiten in sequenziellen Daten zu lernen, indem sie Gatter-Einheiten verwendet, die steuern, wie Informationen zu einem persistenten internen Speicherzellen hinzugefügt, darin behalten oder daraus entfernt werden. Sie wurde speziell eingeführt, um das Problem der verschwindenden Gradienten zu lösen, das einfache RNNs daran hinderte, Beziehungen zwischen Ereignissen zu lernen, die durch viele Zeitschritte getrennt sind.
Geschichte
LSTM wurde in einem Artikel von 1997 von Sepp Hochreiter und Jürgen Schmidhuber eingeführt, basierend auf Hochreiters Analyse in seiner Diplomarbeit von 1991, warum Gradienten in standardmäßigen rekurrenten neuronalen Netzen, die mit Backpropagation durch die Zeit trainiert werden, verschwinden oder explodieren. Die ursprüngliche Architektur wurde im folgenden Jahrzehnt verfeinert, insbesondere durch die Hinzufügung eines Forget-Gatters von Felix Gers und Kollegen im Jahr 2000, das es dem Netzwerk ermöglichte, zu lernen, seine Speicherzelle aktiv zurückzusetzen, anstatt nur Informationen unbegrenzt zu akkumulieren. LSTM fand Jahre nach der Veröffentlichung nur begrenzte Anwendung, wurde aber in den 2010er Jahren zu einer der am weitesten verbreiteten Architekturen im Deep Learning, da größere Datensätze und GPU-Training seine Vorteile gegenüber einfachen RNNs klar messbar machten.
Architektur
Eine LSTM-Einheit hält einen Zellzustand aufrecht, der wie ein Förderband wirkt, das Informationen über Zeitschritte hinweg weitgehend unverändert transportiert, zusammen mit drei Gattern - dem Eingabe-, Forget- und Ausgabegatter - die jeweils eine kleine neuronale Schicht darstellen, die Werte zwischen null und eins ausgibt, um zu steuern, wie viel Information durchgelassen wird. Das Forget-Gatter entscheidet, was aus dem Zellzustand verworfen wird, das Eingabegatter entscheidet, welche neuen Informationen hinzugefügt werden, und das Ausgabegatter entscheidet, welcher Teil des Zellzustands als Ausgabe der Einheit zu diesem Schritt exponiert wird. Da der Zellzustand durch Addition und nicht durch wiederholte Multiplikation aktualisiert wird, können Gradienten über viele Zeitschritte hinweg weitgehend unvermindert rückwärts fließen, was der Kernmechanismus ist, der es LSTMs ermöglicht, Abhängigkeiten über Hunderte von Schritten zu lernen, während einfache RNNs typischerweise schon nach wenigen Schritten versagten.
Anwendungen
Gestapelte und bidirektionale LSTMs wurden in den 2010er Jahren zur Standardarchitektur für maschinelle Übersetzung, Spracherkennung und Textgenerierung, und LSTM-basierte Seq2seq-Modelle mit Aufmerksamkeit waren der direkte Vorgänger der Transformer-Architektur. Das neuronale maschinelle Übersetzungssystem von Google, das 2016 eingesetzt wurde, verwendete einen tiefen LSTM-Stapel und stellte eine der größten Produktionsbereitstellungen der Architektur dar. LSTMs wurden auch außerhalb der Sprache weit verbreitet eingesetzt, einschließlich in der Zeitreihenvorhersage, Handschrifterkennung und frühen Verstärkungslern-Agenten, die sich Informationen über lange Aktionssequenzen merken mussten.
Niedergang und Vermächtnis
Die Einführung der Transformer-Architektur im Jahr 2017, die ganze Sequenzen parallel unter Verwendung von Selbstaufmerksamkeit verarbeitet, anstatt sequenziell durch gated Rekurrenz, bot sowohl eine bessere Trainingseffizienz auf GPU-Hardware als auch, in großem Maßstab, eine bessere Leistung, und LSTMs wurden innerhalb weniger Jahre weitgehend als Standardwahl für neue Verarbeitung natürlicher Sprache- und Großsprachmodell-Systeme verdrängt. Hochreiters Gruppe überarbeitete die Architektur 2024 mit xLSTM, einem Versuch, LSTM mit Techniken aus Transformatoren zu modernisieren, und argumentierte, dass rekurrente Architekturen für sehr lange Sequenzen weiterhin wettbewerbsfähig sein könnten, obwohl es Transformatoren oder neuere Zustandsraummodelle im Mainstream-Einsatz bis 2025 nicht verdrängt hat.