La memoria a largo plazo, o LSTM, es una arquitectura de red neuronal recurrente diseñada para aprender dependencias de largo alcance en datos secuenciales mediante el uso de unidades de compuerta que regulan cómo se añade, retiene o elimina información en una celda de memoria interna persistente. Fue introducida específicamente para resolver el problema del gradiente evanescente que impedía que las RNN simples aprendieran relaciones entre eventos separados por muchos pasos de tiempo.
Historia
La LSTM fue introducida en un artículo de 1997 de Sepp Hochreiter y Jürgen Schmidhuber, basándose en el análisis de la tesis de diploma de 1991 de Hochreiter sobre por qué los gradientes se desvanecen o explotan en las redes neuronales recurrentes estándar entrenadas con retropropagación a través del tiempo. La arquitectura original fue refinada durante la década siguiente, destacando especialmente la adición de una compuerta de olvido por Felix Gers y sus colegas en 2000, que permitió a la red aprender a restablecer activamente su celda de memoria en lugar de solo acumular información indefinidamente. La LSTM tuvo una adopción limitada durante años tras su publicación, pero se convirtió en una de las arquitecturas más utilizadas en el aprendizaje profundo durante la década de 2010, a medida que conjuntos de datos más grandes y el entrenamiento con GPU hicieron que sus ventajas sobre las RNN simples fueran claramente medibles.
Arquitectura
Una unidad LSTM mantiene un estado de celda, que actúa como una cinta transportadora que lleva información a través de los pasos de tiempo en gran medida sin cambios, junto con tres compuertas: la de entrada, la de olvido y la de salida, cada una una pequeña capa neuronal que produce valores entre cero y uno para controlar cuánta información pasa. La compuerta de olvido decide qué descartar del estado de celda, la compuerta de entrada decide qué nueva información añadir y la compuerta de salida decide qué parte del estado de celda exponer como salida de la unidad en ese paso. Debido a que el estado de celda se actualiza mediante suma en lugar de multiplicación repetida, los gradientes pueden fluir hacia atrás a través de muchos pasos de tiempo en gran medida sin disminuir, lo cual es el mecanismo central que permite a las LSTM aprender dependencias que abarcan cientos de pasos, donde las RNN simples típicamente fallaban más allá de unos pocos.
Aplicaciones
Las LSTM apiladas y bidireccionales se convirtieron en la arquitectura estándar para la traducción automática, el reconocimiento de voz y la generación de texto durante la década de 2010, y los modelos Seq2seq basados en LSTM con atención fueron el predecesor directo de la arquitectura transformador. El sistema de traducción automática neuronal de Google, implementado en 2016, utilizó una pila profunda de LSTM y representó una de las mayores implementaciones de producción de la arquitectura. Las LSTM también se usaron ampliamente fuera del lenguaje, incluyendo pronósticos de series temporales, reconocimiento de escritura a mano y agentes tempranos de aprendizaje por refuerzo que necesitaban recordar información a lo largo de secuencias largas de acciones.
Declive y legado
La introducción en 2017 de la arquitectura transformador, que procesa secuencias completas en paralelo usando autoatención en lugar de secuencialmente mediante recurrencia con compuertas, ofreció tanto una mejor eficiencia de entrenamiento en hardware GPU como, a escala, un mejor rendimiento, y las LSTM fueron en gran medida desplazadas como la opción predeterminada para nuevos sistemas de procesamiento del lenguaje natural y modelos de lenguaje grandes en pocos años. El grupo de Hochreiter revisó la arquitectura en 2024 con xLSTM, un intento de modernizar la LSTM con técnicas aprendidas de los transformadores, argumentando que las arquitecturas recurrentes aún podrían ser competitivas para secuencias muy largas, aunque no ha desplazado a los transformadores ni a los modelos más nuevos de espacio de estados en el uso generalizado hasta 2025.