Google Neural Machine Translation (GNMT) est un système de traduction automatique neuronale développé par Google, introduit en 2016, qui utilise l'apprentissage profond et des modèles séquence-à-séquence pour améliorer la qualité de la traduction. Il a remplacé les méthodes statistiques antérieures et est devenu la base du moteur neuronal de Google Traduction.
GNMT a constitué une rupture significative par rapport à l'approche antérieure de Google, basée sur la traduction automatique statistique par phrases. Au lieu de traduire des phrases ou des mots isolément, GNMT considérait des phrases entières comme entrée, en utilisant une architecture de réseau neuronal pour apprendre la correspondance entre les langues. Cela a permis des traductions plus fluides et plus sensibles au contexte, réduisant les erreurs courantes d'ordre des mots et d'accord.
Architecture
Le cœur de GNMT reposait sur une architecture encodeur-décodeur, un type de modèle séquence-à-séquence. L'encodeur traitait la phrase source mot par mot, la convertissant en une représentation vectorielle de longueur fixe capturant son sens. Le décodeur générait ensuite la phrase cible à partir de ce vecteur, un mot à la fois. L'encodeur et le décodeur étaient tous deux des réseaux neuronaux récurrents profonds (RNN), utilisant spécifiquement des unités de mémoire à long terme (LSTM) pour gérer les dépendances à longue portée.
Une innovation clé de GNMT résidait dans l'utilisation de mécanismes d'Attention, qui permettaient au décodeur de se concentrer sur les parties pertinentes de la phrase source à chaque étape de la génération. Cela s'inspirait de travaux antérieurs sur l'attention en traduction neuronale et était crucial pour traiter les phrases longues. De plus, GNMT employait un modèle de sous-mots (wordpiece) pour gérer les mots rares et hors vocabulaire en les décomposant en unités de sous-mots, ce qui améliorait la couverture et réduisait le problème des « mots inconnus ».
Le système utilisait également des connexions de type réseau résiduel dans ses couches pour faciliter l'entraînement de réseaux profonds, ainsi que la normalisation par lots pour stabiliser et accélérer la convergence. L'entraînement était effectué sur de grands corpus parallèles en utilisant des variantes de SGD avec écrêtage de gradient pour éviter l'explosion des gradients.
Développement et lancement
GNMT a été développé par une équipe de Google, avec des contributeurs clés tels que Jakob Uszkoreit, Lukasz Kaiser et Niki Parmar, entre autres. Le système a été décrit pour la première fois dans un article de recherche intitulé « Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation », publié en septembre 2016. L'article rapportait que GNMT réduisait les erreurs de traduction de 55 à 85 % par rapport au système basé sur les phrases précédent, pour plusieurs paires de langues majeures, et approchait la précision humaine pour certaines langues.
Google a commencé à déployer GNMT dans Google Traduction en novembre 2016, initialement pour un petit ensemble de paires de langues, puis l'a progressivement étendu à toutes les langues prises en charge au cours des mois suivants. Le déploiement a été remarquable par la rapidité et l'amélioration de la qualité, en particulier pour les langues à morphologie complexe ou à ordre des mots différent, comme le japonais et le coréen.
Impact et héritage
GNMT a marqué un tournant dans la traduction automatique, démontrant la viabilité pratique de l'apprentissage profond pour un produit grand public de base. Il a stimulé l'adoption généralisée des approches neuronales dans le monde académique et industriel, conduisant à des avancées rapides dans le domaine. L'architecture et les techniques introduites dans GNMT, telles que l'attention et la tokenisation en sous-mots, sont devenues des standards dans les systèmes ultérieurs.
Cependant, GNMT n'était pas sans limites. Il nécessitait des ressources computationnelles substantielles pour l'entraînement, et son architecture récurrente le rendait plus lent à entraîner et à inférer par rapport aux modèles ultérieurs. Le mécanisme d'attention, bien qu'efficace, restait limité dans la capture du contexte global, en particulier pour les phrases très longues.
Le système a finalement été supplanté par des modèles basés sur le Transformer, qui ont remplacé les couches récurrentes par des architectures purement basées sur l'attention. Les équipes Google-DeepMind et Google Brain ont contribué au développement du Transformer, introduit en 2017, qui est devenu la base de modèles ultérieurs comme BERT et GPT. L'héritage de GNMT persiste dans l'utilisation généralisée de la traduction automatique neuronale et l'évolution continue des techniques de apprentissage profond.
Comparaison avec les systèmes ultérieurs
Comparé aux grands modèles de langage ultérieurs tels que la série GPT d'OpenAI, GNMT était un système de traduction spécialisé plutôt qu'un modèle de langage généraliste. Il était entraîné spécifiquement sur des données de traduction parallèles et ne pouvait effectuer que la traduction, pas d'autres tâches comme le résumé ou la réponse à des questions. En revanche, les LLM modernes, souvent basés sur l'architecture Transformer, peuvent gérer plusieurs tâches et ont également été intégrés dans des produits comme Google Traduction, offrant une qualité et une flexibilité encore supérieures.
Bien qu'obsolète, GNMT reste une étape marquante dans l'histoire de l'intelligence artificielle et du apprentissage automatique, illustrant comment l'apprentissage profond pouvait être appliqué pour résoudre un problème réel à grande échelle. Son développement a également souligné l'importance des données à grande échelle et des ressources computationnelles, qui continuent d'être des moteurs clés dans le domaine.