Google Neural Machine Translation（GNMT）は、Googleによって開発され、2016年11月に導入されたニューラル機械翻訳システムです。これは、人工ニューラルネットワークを使用してGoogle翻訳の流暢さと正確性を向上させ、それまでの統計的機械翻訳手法を置き換えました。このシステムは、文全体を一度に翻訳するように設計され、深層学習を活用して翻訳品質を改善しました。2020年までに、GNMTはTransformerエンコーダとRNNデコーダに基づく新しい深層学習システムに置き換えられました。
GNMTのアーキテクチャは、エンコーダとデコーダの2つの主要なブロックで構成され、両方ともLSTM（Long Short-Term Memory）ネットワークに基づいていました。各ブロックは8層で構成され、各層に1024ユニットがあり、それらを接続する単純な1層1024幅のフィードフォワード注意機構がありました。総パラメータ数は、1億6000万以上、約2億1000万、2億7800万、または3億8000万と様々に報告されています。このシステムはWordPieceトークナイザとビームサーチ復号戦略を使用し、Tensor Processing Units（TPU）上で動作しました。
歴史
GNMTの基盤を築いたGoogle Brainプロジェクトは、2011年にGoogle X研究ラボで、GoogleフェローのJeff Dean、GoogleリサーチャーのGreg Corrado、スタンフォード大学教授のAndrew Ngによって設立されました。2016年11月にGNMTが導入され、Google翻訳は2007年10月から使用されていたそれまでの統計的手法に代えて、ニューラル機械翻訳を使用し始めました。
GNMTのトレーニングは、重要な計算作業でした。OpenAIによる2018年の推定では、約79ペタFLOP日（または7e21 FLOP）の計算が必要であり、これは2014年のSeq2seqモデルより1.5桁大きいものの、2021年のGPT-J-6Bより約2倍小さいものでした。
新しいエンジンは最初に8言語で有効になりました：英語とフランス語、ドイツ語、スペイン語、ポルトガル語、中国語、日本語、韓国語、トルコ語です。2017年3月には、ロシア語、ヒンディー語、ベトナム語、タイ語のサポートが追加されました。ヘブライ語とアラビア語は、その月の後半にGoogle翻訳コミュニティの助けを借りて追加されました。2017年4月中旬には、オランダ語と英語に関連する他のヨーロッパ言語がサポートされました。2017年4月末には、9つのインド言語が追加されました：ヒンディー語、ベンガル語、マラーティー語、グジャラート語、パンジャブ語、タミル語、テルグ語、マラヤーラム語、カンナダ語です。
2020年までに、GoogleはGNMTを段階的に廃止し、Transformerベースのニューラルネットワークシステムに置き換えました。
技術
GNMTは、例ベースの機械翻訳手法を使用し、言語翻訳の数百万の例から学習しました。システムのアーキテクチャは、Google翻訳がサポートする100以上の言語で最初にテストされました。大規模なエンドツーエンドのフレームワークにより、システムは時間の経過とともに、より良く、より自然な翻訳を作成することを学習しました。GNMTは、断片的にではなく文全体を一度に翻訳しようと試み、フレーズ間の翻訳を記憶するのではなく、文の意味をエンコードすることで、言語間機械翻訳を行うことができました。
ニューラルネットワークは深層学習技術を使用してトレーニングされ、その設計は心理学と言語学の洞察を利用して言語間の共通点を見つけました。これは普遍的な中間言語を作成するのではなく、言語に依存しない方法で意味をエンコードすることを目的としていました。
評価
GNMTは、英語を経由せずに、ある言語を別の言語に直接翻訳できる「ゼロショット翻訳」を処理できる点で、以前のGoogle翻訳よりも改善されました。例えば、日本語-英語と韓国語-英語のペアでトレーニングされた場合、日本語-韓国語の翻訳を実行できました。このシステムは、言語に依存しない中間表現を学習しているように見え、この機能を可能にしました。以前は、Google翻訳はまずソース言語を英語に翻訳し、次にターゲット言語に翻訳していました。
2019年7月のAnnals of Internal Medicineの研究では、「Google翻訳は、非英語の試験を翻訳するための実行可能で正確なツールである」と結論付けられました。機械翻訳された試験をレビューしたレビュアー間の不一致は、翻訳エラーによるものは1件のみでした。多くの医学研究は言語の壁のために系統的レビューから除外されているため、GNMTはそのようなレビューにおけるバイアスを減らし、正確性を向上させる可能性がありました。
遺産
GNMTは、深層学習を機械翻訳に適用する上でのマイルストーンであり、伝統的な統計的手法に対するNeural networkベースのアプローチの有効性を示しました。そのアーキテクチャは、後のTransformer (architecture)モデルの開発に影響を与え、その後Large language modelの基盤となりました。このシステムのtensor-processing-unitsの使用は、AIワークロードにおける専用ハードウェアの重要性も強調しました。2020年までに、Transformerベースのモデルへの移行は、GNMTが築いた基盤の上に構築された翻訳技術の次の進化を示しました。