Google Neural Machine Translation（GNMT）は、Googleによって開発されたニューラル機械翻訳システムであり、2016年に導入され、深層学習とシーケンス・ツー・シーケンスモデルを使用して翻訳品質を向上させた。これは以前の統計的手法に取って代わり、Google翻訳のニューラルエンジンの基盤となった。
GNMTは、Googleの以前のフレーズベースの統計的機械翻訳アプローチからの大きな転換点であった。個々のフレーズや単語を単独で翻訳する代わりに、GNMTは文全体を入力として考慮し、ニューラルネットワークアーキテクチャを使用して言語間のマッピングを学習した。これにより、より流暢で文脈を考慮した翻訳が可能になり、語順や一致に関する一般的なエラーが減少した。
アーキテクチャ
GNMTの中核は、エンコーダー・デコーダーアーキテクチャであり、これはシーケンス・ツー・シーケンスモデルの一種である。エンコーダーはソース文を単語ごとに処理し、その意味を捉えた固定長のベクトル表現に変換した。デコーダーはこのベクトルからターゲット文を一度に一単語ずつ生成した。エンコーダーとデコーダーの両方は、深いリカレントニューラルネットワーク（RNN）であり、特に長期的な依存関係を処理するために長短期記憶（LSTM）ユニットを使用していた。
GNMTの重要な革新は、アテンションメカニズムの使用であり、これによりデコーダーは生成の各ステップでソース文の関連部分に焦点を当てることができた。これはニューラル翻訳におけるアテンションに関する初期の研究に触発され、長い文を処理するために重要であった。さらに、GNMTはワードピースモデルを使用して、まれな単語や語彙外の単語をサブワード単位に分割することで処理し、カバレッジを向上させ、「未知語」問題を軽減した。
システムはまた、深いネットワークのトレーニングを容易にするために層内で残差ネットワークスタイルの接続を使用し、バッチ正規化を使用して収束を安定化および加速した。トレーニングは大規模な並列コーパスで行われ、SGDバリアントと勾配クリッピングを使用して爆発的な勾配を防いだ。
開発とリリース
GNMTはGoogleのチームによって開発され、主要な貢献者にはJakob Uszkoreit、Lukasz Kaiser、Niki Parmarなどが含まれる。このシステムは、2016年9月に発表された研究論文「Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation」で初めて説明された。この論文では、GNMTが以前のフレーズベースシステムと比較して、いくつかの主要な言語ペアで翻訳エラーを55〜85%削減し、一部の言語では人間レベルの精度に近づいたと報告された。
Googleは2016年11月にGoogle翻訳でGNMTの展開を開始し、最初は少数の言語ペアから始め、その後数か月かけてすべての対応言語に徐々に拡大した。この展開は、特に複雑な形態論や語順の違いを持つ日本語や韓国語などの言語において、速度と品質の向上が顕著であった。
影響と遺産
GNMTは機械翻訳の転換点を示し、コアな消費者製品に対する深層学習の実用的な実現可能性を実証した。これにより、学界と産業界の両方でニューラルアプローチの広範な採用が促進され、分野の急速な進歩につながった。GNMTで導入されたアテンションやサブワードトークン化などのアーキテクチャと技術は、後のシステムで標準となった。
しかし、GNMTには限界もあった。トレーニングにはかなりの計算リソースが必要であり、そのリカレントアーキテクチャは後のモデルと比較してトレーニングと推論が遅かった。アテンションメカニズムは効果的ではあったが、特に非常に長い文ではグローバルな文脈を捉えるにはまだ限界があった。
このシステムは最終的に、リカレント層を純粋にアテンションベースのアーキテクチャに置き換えたTransformerベースのモデルに取って代わられた。Google自身のGoogle-DeepMindとGoogle Brainチームは、2017年に導入され、後のBERTやGPTなどのモデルの基盤となったTransformerの開発に貢献した。GNMTの遺産は、ニューラル機械翻訳の広範な使用と、深層学習技術の継続的な進化に今も残っている。
後のシステムとの比較
OpenAIのGPTシリーズなどの後の大規模言語モデルと比較して、GNMTは汎用の言語モデルではなく、専門の翻訳システムであった。これは並列翻訳データに特化してトレーニングされており、翻訳のみを実行でき、要約や質問応答などの他のタスクは実行できなかった。対照的に、多くの場合Transformerアーキテクチャに基づく現代のLLMは、複数のタスクを処理でき、Google翻訳などの製品にも統合されており、さらに高い品質と柔軟性を提供している。
時代遅れではあるが、GNMTは人工知能と機械学習の歴史における画期的な出来事であり、深層学習を大規模な実世界の問題に適用できることを示した。その開発はまた、大規模なデータと計算リソースの重要性を浮き彫りにし、これらは現在もこの分野の主要な推進力となっている。