Long Short-Term Memory, ou LSTM, est une architecture de réseau de neurones récurrents conçue pour apprendre les dépendances à long terme dans des données séquentielles en utilisant des unités à portes qui régulent la manière dont l'information est ajoutée, conservée ou retirée d'une cellule de mémoire interne persistante. Elle a été introduite spécifiquement pour résoudre le problème de disparition du gradient qui empêchait les réseaux de neurones récurrents simples d'apprendre des relations entre des événements séparés par de nombreux pas de temps.
Historique
Le LSTM a été introduit dans un article de 1997 par Sepp Hochreiter et Jürgen Schmidhuber, en s'appuyant sur l'analyse de la thèse de diplôme de 1991 de Hochreiter expliquant pourquoi les gradients disparaissent ou explosent dans les réseaux de neurones récurrents standard entraînés avec la rétropropagation dans le temps. L'architecture d'origine a été affinée au cours de la décennie suivante, notamment avec l'ajout d'une porte d'oubli par Felix Gers et ses collègues en 2000, qui permettait au réseau d'apprendre à réinitialiser activement sa cellule de mémoire plutôt que de simplement accumuler l'information indéfiniment. Le LSTM a connu une adoption limitée pendant des années après sa publication, mais est devenu l'une des architectures les plus utilisées en apprentissage profond au cours des années 2010, à mesure que des ensembles de données plus volumineux et l'entraînement sur GPU rendaient ses avantages par rapport aux réseaux de neurones récurrents simples clairement mesurables.
Architecture
Une unité LSTM maintient un état de cellule, qui agit comme un tapis roulant transportant l'information à travers les pas de temps en grande partie inchangée, ainsi que trois portes - la porte d'entrée, la porte d'oubli et la porte de sortie - chacune étant une petite couche neuronale qui produit des valeurs entre zéro et un pour contrôler la quantité d'information qui passe. La porte d'oubli décide quoi éliminer de l'état de la cellule, la porte d'entrée décide quelles nouvelles informations ajouter, et la porte de sortie décide quelle partie de l'état de la cellule exposer comme sortie de l'unité à cette étape. Comme l'état de la cellule est mis à jour par addition plutôt que par multiplication répétée, les gradients peuvent se propager en arrière à travers de nombreux pas de temps en grande partie sans diminution, ce qui est le mécanisme central qui permet aux LSTM d'apprendre des dépendances s'étendant sur des centaines de pas de temps, là où les réseaux de neurones récurrents simples échouaient au-delà de quelques-uns.
Applications
Les LSTM empilés et bidirectionnels sont devenus l'architecture standard pour la traduction automatique, la reconnaissance vocale et la génération de texte tout au long des années 2010, et les modèles Seq2seq basés sur LSTM avec attention ont été le prédécesseur direct de l'architecture transformeur. Le système de traduction automatique neuronale de Google, déployé en 2016, utilisait une pile profonde de LSTM et représentait l'un des plus grands déploiements de production de l'architecture. Les LSTM ont également été largement utilisés en dehors du langage, notamment dans la prévision de séries temporelles, la reconnaissance de l'écriture manuscrite et les premiers agents d'apprentissage par renforcement qui devaient mémoriser des informations sur de longues séquences d'actions.
Déclin et héritage
L'introduction en 2017 de l'architecture transformeur, qui traite des séquences entières en parallèle en utilisant l'auto-attention plutôt que séquentiellement via une récurrence à portes, a offert à la fois une meilleure efficacité d'entraînement sur le matériel GPU et, à grande échelle, de meilleures performances, et les LSTM ont été en grande partie supplantés comme choix par défaut pour les nouveaux systèmes de traitement du langage naturel et de grand modèle de langage en quelques années. Le groupe de Hochreiter a revisité l'architecture en 2024 avec xLSTM, une tentative de moderniser le LSTM avec des techniques issues des transformeurs, arguant que les architectures récurrentes pourraient encore être compétitives pour de très longues séquences, bien que cela n'ait pas détrôné les transformeurs ou les modèles plus récents de modèles à espace d'états dans l'utilisation courante en 2025.