La traduction automatique neuronale (NMT) est une approche de la traduction automatique qui utilise un réseau de neurones artificiels pour prédire la probabilité d'une séquence de mots, modélisant généralement des phrases entières dans un modèle intégré unique. Contrairement aux méthodes statistiques antérieures qui divisaient les phrases en segments et appliquaient des composants séparés, la NMT traite la traduction comme un problème d'apprentissage de bout en bout, où un réseau de neurones est entraîné pour mapper directement une phrase source à une phrase cible. Cette approche est devenue le paradigme dominant de la traduction automatique, capable de produire des traductions rivalisant avec les traductions humaines lors de la traduction entre des langues à hautes ressources dans des conditions spécifiques. Cependant, des défis subsistent, notamment pour les langues disposant de données de haute qualité limitées, pour le changement de domaine entre les données d'entraînement et les textes réels, et pour une tendance à produire des traductions littérales.
Les systèmes NMT attribuent une probabilité aux traductions potentielles et recherchent la sortie la plus probable. La plupart des modèles sont autorégressifs, ce qui signifie qu'ils génèrent un jeton cible à la fois, conditionnant chaque prédiction sur la phrase source et les jetons précédemment générés. La probabilité de la traduction entière est le produit de ces probabilités individuelles de jetons. Architecturalement, la plupart des modèles NMT suivent une conception encodeur-décodeur : un encodeur traite la phrase source en une représentation vectorielle ou matricielle, et un décodeur génère la phrase cible jeton par jeton, en utilisant cette représentation et ses propres sorties précédentes. Ce processus se poursuit jusqu'à ce qu'un jeton spécial de fin de phrase soit produit.
Développement historique
Les racines de la NMT remontent à la fin des années 1980. En 1987, Robert B. Allen a démontré un réseau de neurones à propagation avant pour traduire des phrases anglaises générées automatiquement avec un vocabulaire limité de 31 mots en espagnol. Comme le réseau manquait de mécanisme pour gérer les séquences de longueur variable, ses couches d'entrée et de sortie étaient dimensionnées pour accommoder les phrases les plus longues dans les langues respectives. Allen a également suggéré d'utiliser des modèles auto-associatifs pour l'encodage et le décodage.
En 1991, Lonnie Chrisman a étendu ce travail en entraînant des réseaux séparés de mémoire auto-associative récursive (RAAM), développés par Jordan B. Pollack, pour les langues source et cible. Ces réseaux encodaient des phrases de longueur arbitraire en représentations cachées de taille fixe et les décodaient en retour, avec la contrainte supplémentaire que les deux réseaux partageaient une représentation cachée, permettant la traduction. En 1997, Forcada et Ñeco ont simplifié cela en une mémoire hétéro-associative récursive qui entraînait directement un encodeur source et un décodeur cible. Également en 1997, Castaño et Casacuberta ont utilisé un réseau de neurones récurrent d'Elman pour une tâche de traduction à petite échelle.
Malgré ces avancées précoces, les ressources informatiques de l'époque étaient insuffisantes pour les grands ensembles de données nécessaires à la traduction réelle. Par conséquent, la traduction automatique statistique est devenue l'état de l'art durant les années 1990 et 2000.
Approches hybrides
Pendant l'ère de la traduction automatique statistique, certains chercheurs ont intégré des méthodes neuronales dans le cadre existant. Holger Schwenk et ses collègues, par exemple, ont remplacé les modèles de langage n-grammes traditionnels par des modèles de langage neuronaux et ont utilisé des réseaux à propagation avant pour estimer les probabilités de traduction de segments. Ces systèmes hybrides conservaient la combinaison log-linéaire de caractéristiques typique des approches statistiques mais tiraient parti de composants neuronaux pour améliorer des sous-problèmes spécifiques.
La percée seq2seq
L'ère moderne de la NMT de bout en bout a commencé en 2013 et 2014. Kalchbrenner et Blunsom ont utilisé un réseau de neurones convolutif (CNN) pour encoder la source, tandis que Cho et al. et Sutskever et al. ont indépendamment adopté des réseaux de neurones récurrents (RNN). Les trois ont utilisé un décodeur RNN conditionné sur un encodage fixe de la source. Cependant, ces modèles performaient mal sur les phrases plus longues, une limitation abordée par Bahdanau et al. en 2014 avec l'introduction de l'attention. À chaque étape de décodage, l'attention permettait au décodeur de se concentrer sur différentes parties de la phrase source, calculant dynamiquement un vecteur de contexte qui améliorait la qualité de la traduction, en particulier pour les entrées plus longues.
Architectures modernes et avancées
Le mécanisme d'attention est devenu un composant fondamental des systèmes NMT ultérieurs. En 2017, l'architecture transformeur, introduite par Vaswani et al., a remplacé les couches récurrentes et convolutives par des mécanismes d'attention multi-têtes, permettant un traitement parallèle et une meilleure gestion des dépendances à longue portée. Les transformeurs sont rapidement devenus la norme pour la NMT et ont sous-tendu le développement des grands modèles de langage, qui ont encore amélioré les capacités de traduction grâce à un pré-entraînement sur de vastes corpus.
Les systèmes NMT modernes intègrent souvent des techniques telles que la recherche en faisceau pour le décodage, la augmentation de données pour améliorer la robustesse, et l'élagage de modèles pour l'efficacité. Ils sont déployés par les principaux fournisseurs de cloud, notamment Google Cloud, Amazon Web Services et Azure, ainsi que par des entreprises spécialisées en IA. Malgré ces avancées, la NMT fait toujours face à des défis avec les langues à faibles ressources et l'adaptation au domaine, et ses sorties peuvent être trop littérales, manquant parfois d'expressions idiomatiques ou culturellement nuancées.
Évaluation et impact
Les systèmes NMT sont généralement évalués à l'aide de métriques automatiques telles que BLEU, qui comparent les traductions générées aux traductions de référence, bien que l'évaluation humaine reste importante pour évaluer la fluidité et l'adéquation. L'impact de la NMT s'étend au-delà des outils de traduction ; elle a influencé des domaines comme la IA générative et l'intelligence artificielle plus largement, démontrant la puissance de l'apprentissage de bout en bout. Au milieu des années 2020, la NMT continue d'évoluer, avec des recherches axées sur l'amélioration de l'efficacité, la gestion de scénarios multilingues et l'intégration de connaissances externes pour remédier à ses limites.