Long Short-Term Memory, ou LSTM, é uma arquitetura de rede neural recorrente projetada para aprender dependências de longo alcance em dados sequenciais por meio de unidades com portas que regulam como a informação é adicionada, retida ou removida de uma célula de memória interna persistente. Ela foi introduzida especificamente para resolver o problema do gradiente desaparecendo, que impedia redes neurais recorrentes simples de aprender relações entre eventos separados por muitos passos de tempo.
História
A LSTM foi introduzida em um artigo de 1997 por Sepp Hochreiter e Jürgen Schmidhuber, com base na análise da tese de diploma de Hochreiter de 1991 sobre por que gradientes desaparecem ou explodem em redes neurais recorrentes padrão treinadas com retropropagação ao longo do tempo. A arquitetura original foi refinada na década seguinte, mais notavelmente com a adição de uma porta de esquecimento por Felix Gers e colegas em 2000, que permitiu à rede aprender a redefinir ativamente sua célula de memória em vez de apenas acumular informação indefinidamente. A LSTM teve adoção limitada por anos após a publicação, mas tornou-se uma das arquiteturas mais amplamente usadas em aprendizado profundo ao longo dos anos 2010, à medida que conjuntos de dados maiores e treinamento com GPUs tornaram suas vantagens sobre redes neurais recorrentes simples claramente mensuráveis.
Arquitetura
Uma unidade LSTM mantém um estado de célula, que atua como uma esteira transportadora que carrega informação através dos passos de tempo em grande parte inalterada, juntamente com três portas - as portas de entrada, esquecimento e saída - cada uma sendo uma pequena camada neural que produz valores entre zero e um para controlar quanta informação passa. A porta de esquecimento decide o que descartar do estado de célula, a porta de entrada decide qual nova informação adicionar, e a porta de saída decide qual parte do estado de célula expor como saída da unidade naquele passo. Como o estado de célula é atualizado por adição em vez de multiplicação repetida, os gradientes podem fluir para trás através de muitos passos de tempo em grande parte sem diminuição, o que é o mecanismo central que permite às LSTMs aprender dependências que abrangem centenas de passos, onde redes neurais recorrentes simples tipicamente falhavam além de apenas alguns.
Aplicações
LSTMs empilhadas e bidirecionais tornaram-se a arquitetura padrão para tradução automática, reconhecimento de fala e geração de texto ao longo dos anos 2010, e modelos Seq2seq baseados em LSTM com atenção foram o predecessor direto da arquitetura transformador. O sistema de tradução automática neural do Google, implantado em 2016, usava uma pilha profunda de LSTM e representou uma das maiores implantações de produção da arquitetura. LSTMs também foram amplamente usadas fora da linguagem, incluindo previsão de séries temporais, reconhecimento de escrita manual e agentes iniciais de aprendizado por reforço que precisavam lembrar informações ao longo de longas sequências de ações.
Declínio e legado
A introdução da arquitetura transformador em 2017, que processa sequências inteiras em paralelo usando autoatenção em vez de recorrência com portas sequencialmente, ofereceu tanto melhor eficiência de treinamento em hardware GPU quanto, em escala, melhor desempenho, e as LSTMs foram em grande parte deslocadas como a escolha padrão para novos sistemas de processamento de linguagem natural e modelos de linguagem de grande porte em poucos anos. O grupo de Hochreiter revisitou a arquitetura em 2024 com a xLSTM, uma tentativa de modernizar a LSTM com técnicas aprendidas dos transformadores, argumentando que arquiteturas recorrentes ainda poderiam ser competitivas para sequências muito longas, embora não tenha deslocado os transformadores ou os mais novos modelos de espaço de estado no uso mainstream até 2025.