L'unité récurrente à portes (GRU) est un type de mécanisme de portes utilisé dans les réseaux de neurones récurrents, introduit en 2014 par Kyunghyun Cho et ses collègues. Elle est conçue pour résoudre le problème du gradient vanishing, courant dans les réseaux récurrents standards, en utilisant deux portes - une porte de mise à jour et une porte de réinitialisation - pour contrôler la quantité d'informations passées à conserver ou à oublier. Comparée à l'unité de mémoire à long terme (LSTM), la GRU a une architecture plus simple : elle ne possède pas de vecteur de contexte séparé ni de porte de sortie, ce qui entraîne moins de paramètres et souvent un entraînement plus rapide. Malgré cette simplification, les GRU ont montré des performances comparables aux LSTM sur des tâches telles que la modélisation musicale polyphonique, la modélisation des signaux vocaux et le traitement du langage naturel. Les recherches de l'équipe de Yoshua Bengio ont montré que les portes sont globalement bénéfiques, mais n'ont pas abouti à une conclusion définitive sur la supériorité générale des GRU ou des LSTM.
Architecture
La GRU traite les séquences d'entrée étape par étape, en maintenant un état caché qui transporte les informations à travers les pas de temps. À chaque pas de temps, l'unité calcule une porte de mise à jour et une porte de réinitialisation, toutes deux étant des fonctions de l'entrée actuelle et de l'état caché précédent. La porte de mise à jour détermine la quantité de l'état précédent à conserver, tandis que la porte de réinitialisation décide de la quantité de l'état passé à utiliser lors du calcul d'une activation candidate. L'état caché final est une combinaison convexe de l'état précédent et de l'activation candidate, pondérée par la porte de mise à jour.
Mathématiquement, pour un vecteur d'entrée \(x_t\) et un état caché précédent \(h_{t-1}\), les portes et l'activation candidate sont calculées comme suit :
- Porte de mise à jour : \(z_t = \sigma(W_z x_t + U_z h_{t-1} + b_z)\)
- Porte de réinitialisation : \(r_t = \sigma(W_r x_t + U_r h_{t-1} + b_r)\)
- Activation candidate : \(\hat{h}_t = \phi(W_h x_t + U_h (r_t \odot h_{t-1}) + b_h)\)
- État caché final : \(h_t = (1 - z_t) \odot h_{t-1} + z_t \odot \hat{h}_t\)
Ici, \(\sigma\) est la fonction d'activation sigmoïde, \(\phi\) est généralement la tangente hyperbolique, et \(\odot\) désigne le produit de Hadamard (élément par élément). Les matrices de poids \(W_z, W_r, W_h\) et \(U_z, U_r, U_h\) ainsi que les vecteurs de biais \(b_z, b_r, b_h\) sont appris pendant l'entraînement. L'état caché initial est généralement défini à zéro.
Variantes
Plusieurs variations de la GRU existent, différant dans la manière dont les portes sont calculées ou combinées. Une version simplifiée notable est l'unité minimale à portes, qui utilise une seule porte (souvent une combinaison de mise à jour et de réinitialisation) pour réduire la complexité computationnelle. D'autres variantes peuvent ajuster l'ordre des opérations ou la manière dont la porte de réinitialisation interagit avec l'état précédent. Ces modifications visent à améliorer l'efficacité ou les performances sur des tâches spécifiques, mais le principe fondamental du flux d'informations contrôlé par des portes reste cohérent.
Applications
Les GRU ont été largement appliquées dans des tâches de modélisation de séquences, notamment le traitement du langage naturel (par exemple, la traduction automatique, la modélisation du langage), la reconnaissance vocale et la génération musicale. Elles sont également utilisées dans la prévision de séries temporelles et dans des architectures hybrides où elles sont combinées avec des couches convolutionnelles ou des mécanismes d'attention. Dans de nombreux contextes, les GRU servent d'alternative légère aux LSTM, en particulier lorsque les ressources computationnelles sont limitées ou lorsque la longueur de séquence est modérée.
Comparaison avec la LSTM
Les GRU et les LSTM ont toutes deux été développées pour atténuer le problème du gradient vanishing, mais elles diffèrent dans leur structure interne. Une LSTM possède trois portes (entrée, oubli et sortie) et un état de cellule séparé, tandis qu'une GRU a deux portes et aucun état de cellule séparé. Cela rend la GRU économe en paramètres et souvent plus rapide à entraîner. Empiriquement, des études ont montré que les GRU performent de manière similaire aux LSTM sur de nombreuses tâches de référence, bien que les résultats puissent varier selon le jeu de données et la tâche. Certaines recherches suggèrent que les GRU pourraient mieux généraliser sur des jeux de données plus petits, tandis que les LSTM pourraient exceller sur des jeux plus grands, mais aucun avantage définitif n'a été établi.