A unidade recorrente com portão (GRU) é um tipo de mecanismo de portão usado em redes neurais recorrentes (RNNs), introduzida em 2014 por Kyunghyun Cho e colegas. Ela foi projetada para lidar com o problema do gradiente desaparecendo, comum em RNNs padrão, usando portões de atualização e redefinição para controlar o fluxo de informações. Em comparação com a unidade de memória de longo e curto prazo (LSTM), a GRU tem uma arquitetura mais simples, sem um vetor de contexto separado e portão de saída, o que resulta em menos parâmetros. Apesar dessa simplificação, as GRUs demonstraram desempenho comparável ao das LSTMs em tarefas como modelagem de música polifônica, modelagem de sinais de fala e processamento de linguagem natural. A pesquisa da equipe de Yoshua Bengio demonstrou que o uso de portões é geralmente benéfico, mas nenhuma conclusão definitiva foi alcançada sobre se GRUs ou LSTMs são superiores de modo geral.
Arquitetura
A GRU processa sequências mantendo um estado oculto \( h_t \) que é atualizado a cada passo de tempo. As equações centrais para a unidade totalmente portada são as seguintes:
\[ z_t = \sigma(W_z x_t + U_z h_{t-1} + b_z) \]
\[ r_t = \sigma(W_r x_t + U_r h_{t-1} + b_r) \]
\[ \hat{h}_t = \phi(W_h x_t + U_h (r_t \odot h_{t-1}) + b_h) \]
\[ h_t = (1 - z_t) \odot h_{t-1} + z_t \odot \hat{h}_t \]
Aqui, \( \sigma \) é a função de ativação sigmoide, \( \phi \) é tipicamente a tangente hiperbólica (tanh), e \( \odot \) denota o produto de Hadamard (elemento a elemento). O vetor de entrada é \( x_t \in \mathbb{R}^d \), e o estado oculto é \( h_t \in \mathbb{R}^e \). O portão de atualização \( z_t \) determina quanto do estado oculto anterior deve ser retido, enquanto o portão de redefinição \( r_t \) controla quanto da informação passada deve ser esquecida ao calcular a ativação candidata \( \hat{h}_t \). O estado oculto final é uma interpolação linear entre o estado anterior e o candidato, ponderada pelo portão de atualização.
Variantes
Existem várias variações da GRU, que diferem em como os portões são calculados e combinados. A variante mais comum é a unidade totalmente portada descrita acima. Uma versão simplificada, conhecida como unidade mínima com portão (MGU), usa apenas um único portão que combina as funções de atualização e redefinição, reduzindo ainda mais o número de parâmetros. Outras variantes podem alterar a colocação dos vieses ou a ordem das operações, mas todas mantêm o princípio central do uso de portões para gerenciar o fluxo de informações.
Aplicações e Desempenho
As GRUs foram amplamente adotadas em tarefas de modelagem de sequências, incluindo reconhecimento de fala, tradução automática e previsão de séries temporais. Em estudos comparativos, as GRUs igualaram o desempenho das LSTMs em muitos benchmarks, particularmente em modelagem de música polifônica e modelagem de sinais de fala. Seu menor número de parâmetros as torna computacionalmente mais eficientes, o que é vantajoso para treinamento em grandes conjuntos de dados ou em ambientes com restrição de recursos. No entanto, a escolha entre GRU e LSTM muitas vezes depende da tarefa específica e do conjunto de dados, sem um vencedor universal.
Relação com Outras Arquiteturas
As GRUs são um componente fundamental em muitos modelos de aprendizado profundo, especialmente antes da ascensão da arquitetura transformador. Embora os transformadores tenham se tornado dominantes em grandes modelos de linguagem e IA generativa, as GRUs permanecem relevantes para tarefas envolvendo dados sequenciais onde o processamento recorrente é benéfico. Elas também são usadas em modelos híbridos que combinam mecanismos recorrentes e de atenção. O desenvolvimento das GRUs contribuiu para uma compreensão mais ampla dos mecanismos de portão em redes neurais, influenciando inovações posteriores no design de modelos.