Redes neurais recorrentes (RNNs) são uma classe de redes neurais artificiais projetadas para processar dados sequenciais, como texto, fala e séries temporais, onde a ordem dos elementos carrega significado. Diferentemente das redes neurais feedforward, que tratam cada entrada de forma independente, as RNNs incorporam conexões recorrentes: a saída de um neurônio em um passo de tempo é realimentada como entrada no passo seguinte. Esse laço de realimentação permite que a rede mantenha um estado oculto - uma forma de memória que é atualizada a cada passo com base na entrada atual e no estado oculto anterior - possibilitando capturar dependências temporais e padrões ao longo de uma sequência.
As RNNs foram aplicadas a uma variedade de tarefas, incluindo reconhecimento de escrita manual não segmentada, reconhecimento de fala, processamento de linguagem natural e tradução automática. Sua capacidade de modelar sequências as tornou uma pedra angular das primeiras aplicações de aprendizado profundo, embora desde meados da década de 2010 a arquitetura Transformer (architecture) tenha se tornado dominante para muitas tarefas de processamento de sequências. Ainda assim, as RNNs permanecem relevantes para aplicações que exigem eficiência computacional, processamento em tempo real ou onde a natureza inerentemente sequencial dos dados é crucial.
Histórico
O conceito de recorrência em redes neurais tem raízes tanto na neurociência quanto na mecânica estatística. No início do século XX, anatomistas observaram estruturas em forma de laço (recorrentes) no cérebro; Santiago Ramón y Cajal descreveu "semicírculos recorrentes" no córtex cerebelar em 1901, e Rafael Lorente de Nó identificou "conexões recorrentes e recíprocas" em 1933, propondo que laços excitatórios contribuíam para o reflexo vestibulocular. Durante a década de 1940, pesquisadores como Donald Hebb sugeriram que "circuitos reverberantes" no cérebro poderiam explicar a memória de curto prazo, enquanto Warren McCulloch e Walter Pitts, em seu artigo de 1943 sobre modelos neurais, consideraram redes contendo ciclos. Essas ideias foram amplamente discutidas nas conferências Macy e influenciaram as primeiras teorias de realimentação neural.
Na década de 1960, Frank Rosenblatt estendeu seu trabalho sobre perceptrons para incluir redes "de laço fechado e acoplamento cruzado" com aprendizado hebbiano, observando que tais redes eram equivalentes a redes feedforward infinitamente profundas. Projetos recorrentes semelhantes foram posteriormente publicados por Kaoru Nakano (1971), Shun'ichi Amari (1972) e William A. Little (1974). Em paralelo, a mecânica estatística contribuiu com o modelo de Ising (desenvolvido por Wilhelm Lenz e Ernst Ising na década de 1920) e o modelo de Sherrington-Kirkpatrick de vidro de spin (1975), que forneceram uma estrutura matemática para redes com realimentação. John Hopfield aplicou essas ideias em seus influentes artigos de 1982 e 1984, introduzindo o que ficou conhecido como rede de Hopfield, um modelo padrão para estudar a dinâmica neural por meio da mecânica estatística.
Desenvolvimentos Modernos
Durante o ressurgimento da pesquisa em redes neurais nas décadas de 1980 e 1990, surgiram arquiteturas recorrentes mais práticas. Michael I. Jordan propôs a rede de Jordan em 1986, e Jeffrey Elman introduziu a rede de Elman em 1990; ambas se tornaram fundamentais para a modelagem de sequências. Um avanço significativo ocorreu em 1997, quando Sepp Hochreiter e Jürgen Schmidhuber introduziram a arquitetura de memória de longo prazo (LSTM), que mitiga o problema do gradiente desaparecendo que afligia as RNNs anteriores, permitindo o aprendizado de dependências de longo alcance. No mesmo ano, Mike Schuster e Kuldip K. Paliwal propuseram redes neurais recorrentes bidirecionais (BRNNs), que processam sequências nas direções direta e reversa, e a combinação de bidirecionalidade com LSTM (BiLSTM) mostrou-se altamente eficaz; em meados da década de 2000, redes BiLSTM alcançaram resultados de ponta em reconhecimento de fala e foram usadas na busca por voz do Google.
Redes recorrentes também avançaram a modelagem de linguagem. Em 2010, Tomáš Mikolov e colegas demonstraram que modelos de linguagem baseados em RNN poderiam superar modelos tradicionais de n-gramas. Em 2014, Kyunghyun Cho e colaboradores propuseram um codificador-decodificador baseado em RNN para tradução automática, e outro estudo de 2014 mostrou que LSTMs poderiam realizar aprendizado geral de sequência para sequência. Esses modelos se tornaram estado da arte em tradução e foram instrumentais no desenvolvimento de mecanismos de atenção e na eventual ascensão dos transformers.
Configurações e Variantes
Um sistema baseado em RNN pode ser compreendido como composto por duas partes: configuração e arquitetura. Configuração refere-se a como múltiplas RNNs são organizadas em um fluxo de dados - por exemplo, camadas empilhadas ou processamento bidirecional - enquanto arquitetura refere-se à estrutura interna de cada unidade RNN individual. Arquiteturas comuns incluem a unidade recorrente padrão, a unidade LSTM com seus mecanismos de portão e a unidade recorrente com portão (GRU), introduzida como uma alternativa computacionalmente eficiente.
As RNNs podem ser organizadas em várias configurações, como muitos-para-um (para classificação), um-para-muitos (para geração) e muitos-para-muitos (para rotulagem de sequências). Configurações bidirecionais processam dados em ambas as direções para capturar contexto passado e futuro, e configurações codificador-decodificador mapeiam uma sequência para outra, o que é útil para tarefas como tradução.
Treinamento e Desafios
As RNNs são tipicamente treinadas usando retropropagação através do tempo, uma variante da retropropagação que desdobra a rede ao longo dos passos de tempo. Essa abordagem sofre do problema do gradiente desaparecendo, especialmente para sequências longas, o que limita a capacidade de aprender dependências de longo alcance; os gradientes podem se tornar exponencialmente pequenos ou grandes à medida que se propagam para trás. As arquiteturas LSTM e GRU abordam esse problema por meio de mecanismos de portão que controlam o fluxo de informação, permitindo que os gradientes persistam ao longo de muitos passos. Outras técnicas, como recorte de gradiente, Dropout e inicialização cuidadosa de pesos, também ajudam a estabilizar o treinamento.
As RNNs processam dados sequencialmente, o que as torna menos paralelizáveis que os transformers, mas elas são frequentemente mais eficientes em termos de memória e exigem menos recursos computacionais para inferência em sequências curtas. Isso as torna atraentes para sistemas em tempo real, dispositivos embarcados e outros ambientes com restrições rígidas.
Relevância e Comparação com Transformers
Desde a introdução da arquitetura Transformer (architecture) em 2017, que depende de autoatenção em vez de recorrência, os transformers se tornaram a escolha dominante para a maioria das tarefas de processamento de linguagem natural, incluindo aquelas em IA generativa e LLMs, devido à sua superior capacidade de lidar com dependências de longo alcance e maior paralelização. No entanto, as RNNs não estão obsoletas. Elas continuam a ser usadas em aplicações onde a eficiência computacional, o processamento em tempo real ou a natureza inerentemente sequencial dos dados são críticos, como reconhecimento de fala em dispositivos, modelagem de linguagem em tempo real e certas tarefas de previsão de séries temporais. A pesquisa também continua em modelos híbridos que combinam ideias de RNNs e transformers, buscando equilibrar eficiência e precisão.
Em resumo, as RNNs são uma classe fundamental de modelos que introduziram conceitos-chave para o processamento de dados sequenciais, incluindo estados ocultos e recorrência. Seu legado é visível nas arquiteturas que as sucederam, e elas mantêm um nicho no panorama mais amplo do aprendizado profundo.