Long short-term memory (LSTM) ist eine Art von rekurrentem neuronalen Netzwerk (RNN), das eingeführt wurde, um das Problem der verschwindenden Gradienten zu adressieren, das traditionelle RNNs einschränkt. Im Gegensatz zu Standard-RNNs enthalten LSTM-Einheiten einen Zellzustand und drei Gate-Mechanismen - ein Eingangsgate, ein Ausgangsgate und ein Vergessensgate - die den Informationsfluss über beliebige Zeitintervalle regulieren. Dieses Design ermöglicht es LSTM-Netzwerken, Abhängigkeiten über Tausende von Zeitschritten aufrechtzuerhalten, was sie für Sequenzlernaufgaben wie Spracherkennung, maschinelle Übersetzung und Zeitreihenprognose effektiv macht. Der Name spiegelt eine Analogie zu den Konzepten des Langzeit- und Kurzzeitgedächtnisses aus der kognitiven Psychologie wider, die seit dem frühen 20. Jahrhundert untersucht werden.
LSTMs relative Unempfindlichkeit gegenüber der Lücke zwischen Ereignissen verschafft ihm einen Vorteil gegenüber anderen RNNs, verborgenen Markov-Modellen und alternativen Sequenzlernmethoden. Die Architektur wurde 1997 von Sepp Hochreiter und Jürgen Schmidhuber vorgeschlagen und ist seitdem zu einem grundlegenden Bestandteil des Deep Learning geworden, insbesondere vor dem Aufkommen transformerbasierter Modelle.
Motivation
Klassische RNNs können theoretisch beliebige langfristige Abhängigkeiten erfassen, aber in der Praxis leiden sie während der Backpropagation unter verschwindenden Gradienten. Beim Training mit Backpropagation können Gradienten, die über viele Zeitschritte propagieren, exponentiell schrumpfen, was dazu führt, dass das Netzwerk effektiv aufhört zu lernen. LSTM-Einheiten mildern dies, indem sie Gradienten mit geringer Dämpfung durch den Zellzustand fließen lassen, obwohl sie immer noch auf explodierende Gradienten stoßen können.
Die Intuition hinter LSTM besteht darin, ein Modul zu schaffen, das lernt, wann es Informationen behalten und wann es sie vergessen soll. Das Netzwerk lernt, welche Informationen wahrscheinlich später in der Sequenz benötigt werden und wann sie irrelevant werden. Zum Beispiel kann ein LSTM, das den Satz "Dave, als Ergebnis seiner umstrittenen Behauptungen, ist jetzt ein Paria" verarbeitet, das grammatische Geschlecht und die Zahl des Subjekts "Dave" behalten, um das Pronomen "seiner" korrekt zu interpretieren, und diese Informationen nach dem Verb "ist" verwerfen.
Architektur
Eine LSTM-Einheit besteht aus einer Zelle und drei Gates. Die Zelle speichert Werte über beliebige Zeitintervalle. Das Vergessensgate entscheidet, welche Informationen aus dem vorherigen Zustand verworfen werden sollen, indem es den vorherigen Zustand und die aktuelle Eingabe auf einen Wert zwischen 0 und 1 abbildet, wobei 1 bedeutet behalten und 0 bedeutet verwerfen. Das Eingangsgate bestimmt, welche neuen Informationen im Zellzustand gespeichert werden sollen, unter Verwendung eines ähnlichen Mechanismus. Das Ausgangsgate steuert, welche Teile des aktuellen Zellzustands ausgegeben werden sollen, wiederum unter Verwendung eines Werts zwischen 0 und 1, wobei sowohl vorherige als auch aktuelle Zustände berücksichtigt werden.
Mathematisch kann der Vorwärtsdurchlauf einer LSTM-Zelle mit einem Vergessensgate unter Verwendung von Vektornotation beschrieben werden. Sei \(x_t\) die Eingabe zum Zeitschritt \(t\), \(h_{t-1}\) der vorherige verborgene Zustand und \(c_{t-1}\) der vorherige Zellzustand. Die Gates werden wie folgt berechnet:
- Vergessensgate: \(f_t = \sigma_g(W_f x_t + U_f h_{t-1} + b_f)\)
- Eingangsgate: \(i_t = \sigma_g(W_i x_t + U_i h_{t-1} + b_i)\)
- Ausgangsgate: \(o_t = \sigma_g(W_o x_t + U_o h_{t-1} + b_o)\)
- Kandidaten-Zellzustand: \(\tilde{c}_t = \tanh(W_c x_t + U_c h_{t-1} + b_c)\)
- Zellzustandsaktualisierung: \(c_t = f_t \odot c_{t-1} + i_t \odot \tilde{c}_t\)
- Verborgener Zustand: \(h_t = o_t \odot \tanh(c_t)\)
Hierbei ist \(\sigma_g\) die Sigmoid-Aktivierungsfunktion, \(\tanh\) der hyperbolische Tangens und \(\odot\) bezeichnet elementweise Multiplikation. Die Gewichtsmatrizen \(W_q\) und \(U_q\) (wobei \(q\) für \(i\), \(o\), \(f\) oder \(c\) stehen kann) enthalten Eingabe- bzw. rekurrente Verbindungen.
Varianten und Erweiterungen
Mehrere Varianten von LSTM wurden entwickelt, um die Leistung zu verbessern oder sich an spezifische Aufgaben anzupassen. Die häufigste Variante ist das LSTM mit einem Vergessensgate, das heute Standard ist. Andere bemerkenswerte Varianten umfassen:
- Gated Recurrent Unit (GRU): Eine vereinfachte Architektur, die das Eingangs- und das Vergessensgate zu einem einzigen Aktualisierungsgate kombiniert, wodurch die Rechenkomplexität reduziert wird.
- Bidirektionales LSTM: Verarbeitet Sequenzen sowohl in Vorwärts- als auch in Rückwärtsrichtung und erfasst Kontext aus Vergangenheit und Zukunft.
- Peephole-Verbindungen: Ermöglichen Gates den direkten Zugriff auf den Zellzustand, was Timing und Präzision verbessert.
Diese Varianten wurden weitgehend in Deep-Learning-Anwendungen übernommen, einschließlich großer Sprachmodelle und neuronaler Netzwerke-basierter Systeme.
Anwendungen
LSTM-Netzwerke wurden auf eine breite Palette von Aufgaben angewendet, darunter Klassifikation, Datenverarbeitung, Zeitreihenanalyse, Spracherkennung, maschinelle Übersetzung, Sprachaktivitätserkennung, Robotersteuerung, Videospiele, Gesundheitswesen und Energieprognose. In den frühen 2010er Jahren erzielten LSTM-basierte Modelle Spitzenergebnisse bei Spracherkennung und maschineller Übersetzung und ebneten den Weg für moderne Systeme der künstlichen Intelligenz.
Mit dem Aufkommen der Transformer-Architektur im Jahr 2017 hat LSTMs Dominanz bei der Sequenzverarbeitung abgenommen, insbesondere bei groß angelegten generativen KI-Modellen. LSTM bleibt jedoch für viele Anwendungen relevant, insbesondere für solche mit begrenzten Rechenressourcen oder bei denen sequentielle Verarbeitung inhärent ist, wie in eingebetteten Systemen und Echtzeitsteuerung.
Einschränkungen
Trotz seiner Vorteile hat LSTM Einschränkungen. Es ist rechnerisch teurer als einfache RNNs aufgrund der zusätzlichen Gates. Es kann immer noch unter explodierenden Gradienten leiden, obwohl Techniken wie Gradient-Clipping helfen. Darüber hinaus verarbeitet LSTM Sequenzen sequentiell, was die Parallelisierung über Zeitschritte erschwert, ein Hauptgrund, warum Transformer für groß angelegte Modelle bevorzugt werden. Dennoch macht LSTMs Fähigkeit, langfristige Abhängigkeiten mit relativer Unempfindlichkeit gegenüber der Lücke zwischen Ereignissen zu modellieren, es weiterhin zu einem wertvollen Werkzeug im Maschinenlernen-Werkzeugkasten.