Uma rede neural recorrente, ou RNN, é uma arquitetura de rede neural projetada para processar dados sequenciais, mantendo um estado oculto interno que é atualizado a cada etapa e carregado adiante para influenciar como as entradas subsequentes são processadas. Diferentemente das redes feedforward, que mapeiam uma entrada fixa a uma saída fixa, sem memória de entradas anteriores, as RNNs compartilham os mesmos pesos em cada etapa de uma sequência e, em princípio, podem usar informações de pontos arbitrariamente distantes nessa sequência para informar cada nova previsão.
História
As primeiras arquiteturas recorrentes incluíam a rede de Hopfield de 1982, de John Hopfield, um modelo de memória associativa, e a rede recorrente simples proposta por Jeffrey Elman em 1990, que mostrou que uma rede poderia aprender a representar a estrutura gramatical em um fluxo de palavras sem que regras fossem explicitamente fornecidas. Ao longo das décadas de 1990 e 2000, as RNNs foram a arquitetura padrão para tarefas de sequência em processamento de linguagem natural e reconhecimento de fala, mas as RNNs simples se mostraram difíceis de treinar em sequências longas porque os gradientes computados por retropropagação através do tempo tendem a encolher ou explodir exponencialmente com o comprimento da sequência, um problema analisado formalmente por Sepp Hochreiter em 1991. Esse problema de gradientes que desaparecem ou explodem motivou a arquitetura LSTM em 1997 e, mais tarde, a unidade recorrente gated mais simples, ambas com gate mechanisms que permitem que gradientes fluam mais de forma estável por muitas etapas.
Arquitetura e treinamento
Uma RNN processa uma sequência um elemento por vez, combinando a entrada atual com o estado oculto carregado da etapa anterior para produzir um novo estado oculto e, ocasionalmente, uma saída nessa etapa. O treinamento usa retropropagação através do tempo, que itera a computação recorrente em todas as etapas de uma sequência e aplica descida de gradiente comum à rede não-internada, que efetivamente muito profunda, que resulta desse desenrolamento. Esse desdobramento também é a principal desvantagem computacional das RNNs: porque cada etapa depende da saída da anterior, a sequência deve ser largamente processada passo a passo em vez de em paralelo, dificultando o treinamento em sequências longas e bases de dados de grande escala que se tornaram padrão nos anos 2010.
Pico e declínio
As RNNs, e particularmente as variantes LSTM empilhadas, moveram a primeira geração de sistemas práticos de tradução automática e de fala através de arquiteturas como Seq2seq, introduzidas em 2014, que combinavam uma RNN codificadora, que comprimia uma sequência de entrada num vetor fixo, com uma RNN decodificadora que gera a sequência de saída a partir dele. Mecanismos de atenção, adicionados aos modelos seq2seq por volta de 2015 para permitir que o significador olhe de volta para todos os estados do codificador, em vez de depender de um vetor único comprimido, tanto melhoraram a qualidade da tradução quanto prepararam o palco para a arquitetura transformada de 2017, que descartou completamente a recorrência em favor de self-attention e pôde ser treinada, em grande parte, em paralelo. Como os transformers igualaram ou superaram o desempenho das RNNs, enquanto treinavam muito mais rapidamente no hardware de GPUs disponível na época, eles substituíram as RNNs como arquitetura de sequência dominante para modelos de linguagem grandes e a maior parte do processamento de linguagem natural em alguns anos.
Legado
As RNNs ainda são usadas em ambientes com restrições estritas de memória ou latência e em algumas aplicações de séries temporais e de controle, e sua ideia central, que um estado imaginalizável fixo pode assimular uma história de comprimento ilimitado, reapareceu em meados da década de 2020 em modelos de espaço de eestado, como Mamba, que visam combinar inferência linear de imagens semelhante à da RNN com eficiência de treinamento mais próxima da dos transformers.