A unidade recorrente com portão (GRU) é um tipo de mecanismo de portão usado em redes neurais recorrentes, introduzido em 2014 por Kyunghyun Cho e colegas. Ela foi projetada para lidar com o problema do gradiente desaparecendo, comum em redes recorrentes padrão, usando dois portões - um portão de atualização e um portão de reset - para controlar quanto da informação passada é retida ou esquecida. Em comparação com a unidade de memória de longo prazo (LSTM), a GRU tem uma arquitetura mais simples: ela não possui um vetor de contexto separado nem um portão de saída, resultando em menos parâmetros e, frequentemente, treinamento mais rápido. Apesar dessa simplificação, as GRUs mostraram desempenho comparável às LSTMs em tarefas como modelagem de música polifônica, modelagem de sinais de fala e processamento de linguagem natural. A pesquisa da equipe de Yoshua Bengio descobriu que o uso de portões é amplamente benéfico, mas não chegou a uma conclusão definitiva sobre se GRUs ou LSTMs são superiores em geral.
Arquitetura
A GRU processa sequências de entrada passo a passo, mantendo um estado oculto que carrega informações ao longo dos passos de tempo. Em cada passo de tempo, a unidade calcula um portão de atualização e um portão de reset, ambos funções da entrada atual e do estado oculto anterior. O portão de atualização determina quanto do estado anterior deve ser carregado adiante, enquanto o portão de reset decide quanto do estado passado deve ser usado ao calcular uma ativação candidata. O estado oculto final é uma combinação convexa do estado anterior e da ativação candidata, ponderada pelo portão de atualização.
Matematicamente, para um vetor de entrada \(x_t\) e o estado oculto anterior \(h_{t-1}\), os portões e a ativação candidata são calculados como:
- Portão de atualização: \(z_t = \sigma(W_z x_t + U_z h_{t-1} + b_z)\)
- Portão de reset: \(r_t = \sigma(W_r x_t + U_r h_{t-1} + b_r)\)
- Ativação candidata: \(\hat{h}_t = \phi(W_h x_t + U_h (r_t \odot h_{t-1}) + b_h)\)
- Estado oculto final: \(h_t = (1 - z_t) \odot h_{t-1} + z_t \odot \hat{h}_t\)
Aqui, \(\sigma\) é a função de ativação sigmoide, \(\phi\) é tipicamente a tangente hiperbólica, e \(\odot\) denota o produto de Hadamard (elemento a elemento). As matrizes de peso \(W_z, W_r, W_h\) e \(U_z, U_r, U_h\), juntamente com os vetores de viés \(b_z, b_r, b_h\), são aprendidas durante o treinamento. O estado oculto inicial geralmente é definido como zero.
Variantes
Existem várias variações da GRU, que diferem em como os portões são calculados ou combinados. Uma versão simplificada notável é a unidade mínima com portão, que usa apenas um portão (frequentemente uma combinação de atualização e reset) para reduzir a complexidade computacional. Outras variantes podem ajustar a ordem das operações ou a forma como o portão de reset interage com o estado anterior. Essas modificações visam melhorar a eficiência ou o desempenho em tarefas específicas, mas o princípio central do fluxo de informação com portões permanece consistente.
Aplicações
As GRUs têm sido amplamente aplicadas em tarefas de modelagem de sequências, incluindo processamento de linguagem natural (por exemplo, tradução automática, modelagem de linguagem), reconhecimento de fala e geração de música. Elas também são usadas em previsão de séries temporais e em arquiteturas híbridas, onde são combinadas com camadas convolucionais ou mecanismos de atenção. Em muitos cenários, as GRUs servem como uma alternativa leve às LSTMs, especialmente quando os recursos computacionais são limitados ou quando o comprimento da sequência é moderado.
Comparação com LSTM
Tanto GRUs quanto LSTMs foram desenvolvidas para mitigar o problema do gradiente desaparecendo, mas diferem na estrutura interna. Uma LSTM tem três portões (entrada, esquecimento e saída) e um estado de célula separado, enquanto uma GRU tem dois portões e nenhum estado de célula separado. Isso torna a GRU eficiente em parâmetros e frequentemente mais rápida de treinar. Empiricamente, estudos descobriram que GRUs performam de forma semelhante às LSTMs em muitas tarefas de referência, embora os resultados possam variar dependendo do conjunto de dados e da tarefa. Algumas pesquisas sugerem que GRUs podem generalizar melhor em conjuntos de dados menores, enquanto LSTMs podem se destacar em conjuntos maiores, mas nenhuma vantagem definitiva foi estabelecida.