Google Neural Machine Translation (GNMT) war ein neuronales maschinelles Übersetzungssystem, das von Google entwickelt und im November 2016 eingeführt wurde. Es verwendete ein künstliches neuronales Netz, um die Flüssigkeit und Genauigkeit von Google Translate zu verbessern und ersetzte die bisherigen statistischen maschinellen Übersetzungsmethoden. Das System wurde entwickelt, um ganze Sätze auf einmal zu übersetzen, und nutzte Deep Learning, um die Übersetzungsqualität zu verbessern. Bis 2020 war GNMT durch ein neueres Deep-Learning-System ersetzt worden, das auf einem Transformer-Encoder und einem RNN-Decoder basierte.
Die GNMT-Architektur bestand aus zwei Hauptblöcken: einem Encoder und einem Decoder, die beide auf LSTM-Netzen (Long Short-Term Memory) basierten. Jeder Block hatte 8 Schichten mit 1024 Einheiten pro Schicht, und ein einfacher einschichtiger Feedforward-Aufmerksamkeitsmechanismus mit 1024 Einheiten verband sie. Die Gesamtzahl der Parameter wurde unterschiedlich angegeben: über 160 Millionen, etwa 210 Millionen, 278 Millionen oder 380 Millionen. Das System verwendete einen WordPiece-Tokenizer und eine Beam-Search-Dekodierungsstrategie und lief auf Tensor Processing Units (TPUs).
Geschichte
Das Google-Brain-Projekt, das die Grundlage für GNMT legte, wurde 2011 im Google-X-Forschungslabor von Google Fellow Jeff Dean, Google Researcher Greg Corrado und dem Stanford-Professor Andrew Ng gegründet. Im November 2016 wurde GNMT eingeführt, und Google Translate begann, neuronale maschinelle Übersetzung anstelle der bisherigen statistischen Methoden zu verwenden, die seit Oktober 2007 im Einsatz waren.
Das Training von GNMT war ein erheblicher Rechenaufwand. Nach einer Schätzung aus dem Jahr 2018 von OpenAI erforderte es etwa 79 PetaFLOP-Tage (oder 7e21 FLOPs) an Rechenleistung, was etwa 1,5 Größenordnungen mehr war als beim Seq2seq-Modell von 2014, aber etwa 2-mal weniger als bei GPT-J-6B im Jahr 2021.
Die neue Engine wurde zunächst für acht Sprachen aktiviert: Englisch und Französisch, Deutsch, Spanisch, Portugiesisch, Japanisch, Chinesisch, Koreanisch und Türkisch. Im März 2017 wurde Unterstützung für Russisch, Hindi, Vietnamesisch und Thailändisch hinzugefügt. Hebräisch und Arabisch wurden später in diesem Monat mit Hilfe der Google-Translate-Community ergänzt. Mitte April 2017 wurden Niederländisch und andere europäische Sprachen, die mit Englisch verwandt sind, unterstützt. Ende April 2017 wurden neun indische Sprachen hinzugefügt: Hindi, Bengali, Marathi, Gujarati, Punjabi, Tamil, Telugu, Malayalam und Kannada.
Bis 2020 hatte Google GNMT ausgemustert und durch ein transformerbasiertes neuronales Netzsystem ersetzt.
Technologie
GNMT verwendete eine beispielbasierte maschinelle Übersetzungsmethode und lernte aus Millionen von Übersetzungsbeispielen. Die Systemarchitektur wurde zunächst an über hundert Sprachen getestet, die von Google Translate unterstützt werden. Mit einem großen End-to-End-Framework lernte das System im Laufe der Zeit, bessere und natürlichere Übersetzungen zu erstellen. GNMT versuchte, ganze Sätze auf einmal zu übersetzen, anstatt Stück für Stück, und konnte interlinguale maschinelle Übersetzung durchführen, indem es die Semantik des Satzes kodierte, anstatt Phrase-für-Phrase-Übersetzungen auswendig zu lernen.
Das neuronale Netz wurde mit Deep-Learning-Techniken trainiert, und sein Design stützte sich auf Erkenntnisse aus Psychologie und Linguistik, um Gemeinsamkeiten zwischen Sprachen zu finden. Es schuf keine universelle Interlingua, zielte jedoch darauf ab, Bedeutung auf sprachunabhängige Weise zu kodieren.
Bewertung
GNMT stellte eine Verbesserung gegenüber dem früheren Google Translate dar, da es "Zero-Shot-Übersetzung" unterstützte, also die direkte Übersetzung von einer Sprache in eine andere ohne den Umweg über Englisch. Wenn es beispielsweise mit japanisch-englischen und koreanisch-englischen Paaren trainiert wurde, konnte es japanisch-koreanische Übersetzungen durchführen. Das System schien eine sprachunabhängige Zwischenrepräsentation zu lernen, was diese Fähigkeit ermöglichte. Zuvor übersetzte Google Translate zuerst die Ausgangssprache ins Englische und dann in die Zielsprache.
Eine Studie aus dem Juli 2019 in den Annals of Internal Medicine ergab, dass "Google Translate ein brauchbares und genaues Werkzeug für die Übersetzung von nicht-englischsprachigen Studien ist." Nur eine Meinungsverschiedenheit zwischen den Prüfern, die maschinell übersetzte Studien lasen, war auf einen Übersetzungsfehler zurückzuführen. Da viele medizinische Studien aufgrund von Sprachbarrieren aus systematischen Übersichtsarbeiten ausgeschlossen werden, hatte GNMT das Potenzial, Verzerrungen zu reduzieren und die Genauigkeit solcher Übersichtsarbeiten zu verbessern.
Vermächtnis
GNMT war ein Meilenstein in der Anwendung von Deep Learning auf maschinelle Übersetzung und zeigte die Wirksamkeit von Ansätzen auf neuronaler Netzwerkbasis gegenüber traditionellen statistischen Methoden. Seine Architektur beeinflusste spätere Entwicklungen bei Transformer-Modellen, die später zur Grundlage von Large Language Models wurden. Die Nutzung von Tensor Processing Units durch das System unterstrich auch die Bedeutung spezialisierter Hardware für KI-Anwendungen. Bis 2020 markierte der Übergang zu transformerbasierten Modellen die nächste Entwicklungsstufe in der Übersetzungstechnologie, die auf der von GNMT gelegten Grundlage aufbaute.