Google Neural Machine Translation (GNMT) était un système de traduction automatique neuronale développé par Google et introduit en novembre 2016. Il utilisait un réseau de neurones artificiels pour augmenter la fluidité et la précision de Google Translate, remplaçant les méthodes précédentes de traduction automatique statistique. Le système était conçu pour traduire des phrases entières à la fois, en tirant parti de l'apprentissage profond pour améliorer la qualité de la traduction. D'ici 2020, GNMT avait été remplacé par un système d'apprentissage profond plus récent basé sur un encodeur Transformer et un décodeur RNN.
L'architecture de GNMT se composait de deux blocs principaux : un encodeur et un décodeur, tous deux basés sur des réseaux LSTM (Long Short-Term Memory) networks. Chaque bloc avait 8 couches avec 1024 unités par couche, et un mécanisme d'attention simple à 1 couche de 1024 largeurs les reliait. Le nombre total de paramètres était rapporté diversement comme dépassant 160 millions, environ 210 millions, 278 millions, ou 380 millions. Le système utilisait un tokenizer WordPiece et une stratégie de décodage par recherche en faisceau, et il fonctionnait sur des unités de traitement tensoriel(TPUs.
Histoire
Le projet Google Brain, qui a posé les bases de GNMT, a été établi en 2011 dans le laboratoire de recherche Google X par le Fellow Google Jeff Dean, le chercheur Google Greg Corrado, et le professeur de l'Université Stanford Andrew Ng. En novembre 2016, GNMT a été introduit, et Google Translate a commencé à utiliser la traduction automatique neuronale en préférence à ses méthodes statistiques précédentes, qui étaient en usage depuis octobre 2007. L'entraînement de GNMT était un effort computationnel significatif. Selon une estimation de 2018 d'OpenAI, il nécessitait de l'ordre de 79 petaFLOP-jours(ou 7e21 FLOPs) de calcul, ce qui était 1,5 ordres de grandeur plus grand que le modèle Seq2seq de 2014 mais environ 2x plus petit que GPT-J-6B en 2021. Le nouveau moteur a été d'abord activé pour huit langues : l'anglais et le français, l'allemand, l'espagnol, le portugais, le chinois, le japonais, le coréen, et le turc. En mars 2017, le support pour le russe, l'hindi, le vietnamien, et le thaï a été ajouté. L'hébreu et l'arabe ont été ajoutés plus tard ce mois-là avec l'aide de la communauté Google Translate. À la mi-avril 2017, le néerlandais et d'autres langues européennes liées à l'anglais ont été soutenues. À la fin d'avril 2017, neuf langues indiennes ont été ajoutées : l'hindi, le bengali, le marathi, le gujarati, le pendjabi, le tamoul, le télougou, le malayalam, et le kannada. D'ici 2020, Google avait progressivement éliminé GNMT, le remplaçant par un système de réseau neuronal basé sur Transformer.
Technologie
GNMT utilisait une méthode de traduction automatique basée sur des exemples, apprenant à partir de millions d'exemples de traduction de langues. L'architecture du système a été d'abord testée sur plus d'une centaine de langues soutenues par Google Translate. Avec un cadre de bout en bout à grande échelle, le système apprenait au fil du temps à créer des traductions meilleures et plus naturelles. GNMT tentait de traduire des phrases entières à la fois, plutôt que morceau par morceau, et pouvait entreprendre une traduction automatique interlinguale en encodant la sémantique de la phrase, plutôt que de mémoriser des traductions phrase par phrase. Le réseau neuronal était entraîné en utilisant des techniques d'apprentissage profond, et sa conception s'inspirait d'idées issues de la psychologie et de la linguistique pour trouver des points communs entre les langues. Il ne créait pas une interlingua universelle mais visait à encoder le sens de manière indépendante de la langue.
Évaluation
GNMT représentait une amélioration par rapport à l'ancien Google Translate en ce qu'il pouvait gérer la "traduction zéro-shot", traduisant directement une langue dans une autre sans passer par l'anglais. Par exemple, s'il était entraîné sur des paires japonais-anglais et coréen-anglais, il pouvait effectuer une traduction japonais-coréen. Le système semblait apprendre une représentation intermédiaire indépendante de la langue, permettant cette capacité. Auparavant, Google Translate traduisait d'abord la langue source en anglais puis dans la langue cible.
Une étude de juillet 2019 dans Annals of Internal Medicine a constaté que "Google Translate est un outil viable et précis pour traduire des essais non anglophones." Seul un désaccord entre les examinateurs lisant des essais traduits par machine était dû à une erreur de traduction. Étant donné que de nombreuses études médicales sont exclues des revues systématiques en raison de barrières linguistiques, GNMT avait le potentiel de réduire les biais et d'améliorer la précision dans de telles revues.
Héritage
GNMT a été une étape importante dans l'application de l'apprentissage profond à la traduction automatique, démontrant l'efficacité des approches basées sur les réseaux de neurones par rapport aux méthodes statistiques traditionnelles. Son architecture a influencé les développements ultérieurs dans les modèles Transformer (architecture), qui sont devenus plus tard fondamentaux dans les grands modèles de langage. L'utilisation par le système d'unités de traitement tensoriel a également souligné l'importance du matériel spécialisé pour les charges de travail en IA. D'ici 2020, le passage à des modèles basés sur Transformer a marqué la prochaine évolution dans la technologie de traduction, en s'appuyant sur les bases posées par GNMT.