Google Neural Machine Translation（GNMT）是谷歌开发的一种神经机器翻译系统，于2016年推出，利用深度学习和序列到序列模型来提高翻译质量。它取代了早期的统计方法，并成为谷歌翻译神经引擎的基础。
GNMT与谷歌此前基于短语的统计机器翻译方法有显著不同。GNMT不是孤立地翻译单个短语或单词，而是将整个句子作为输入，使用神经网络架构来学习语言之间的映射。这使得翻译更加流畅且具有上下文意识，减少了词序和一致性方面的常见错误。
架构
GNMT的核心是编码器-解码器架构，这是一种序列到序列模型。编码器逐词处理源句子，将其转换为捕捉语义的固定长度向量表示。然后，解码器从该向量逐词生成目标句子。编码器和解码器都是深度循环神经网络（RNN），具体使用长短期记忆（LSTM）单元来处理长距离依赖。
GNMT的一个关键创新是使用注意力机制，允许解码器在生成的每一步关注源句子的相关部分。这受到早期神经翻译中注意力研究的启发，对处理长句至关重要。此外，GNMT采用词片模型，通过将罕见词和词汇表外词拆分为子词单元来处理它们，这提高了覆盖率并减少了“未知词”问题。
该系统还在其层内使用了残差网络风格的连接，以促进深度网络的训练，并使用批归一化来稳定和加速收敛。训练是在大规模平行语料库上进行的，使用SGD变体和梯度裁剪来防止梯度爆炸。
开发与发布
GNMT由谷歌的一个团队开发，主要贡献者包括Jakob Uszkoreit、Lukasz Kaiser和Niki Parmar等人。该系统首次在一篇题为“谷歌的神经机器翻译系统：弥合人类与机器翻译之间的差距”的研究论文中描述，该论文于2016年9月发表。论文报告称，与之前的基于短语的系统相比，GNMT在多个主要语言对上的翻译错误减少了55-85%，并在某些语言上接近人类水平的准确性。
谷歌于2016年11月开始在谷歌翻译中部署GNMT，最初仅用于一小部分语言对，并在随后的几个月内逐步扩展到所有支持的语言。此次推出以其速度和质量的提升而著称，特别是对于具有复杂形态或词序差异的语言，如日语和韩语。
影响与遗产
GNMT标志着机器翻译的一个转折点，证明了深度学习在核心消费产品中的实际可行性。它推动了学术界和工业界对神经方法的广泛采用，导致该领域的快速发展。GNMT中引入的架构和技术，如注意力和子词分词，成为后来系统的标准。
然而，GNMT并非没有局限性。它需要大量的计算资源进行训练，其循环架构使其训练和推理速度比后来的模型慢。注意力机制虽然有效，但在捕捉全局上下文方面仍然有限，尤其是对于非常长的句子。
该系统最终被基于Transformer的模型所取代，这些模型用纯注意力架构取代了循环层。谷歌自己的Google-DeepMind和Google Brain团队为Transformer的开发做出了贡献，该模型于2017年推出，并成为后续模型如BERT和GPT的基础。GNMT的遗产在神经机器翻译的广泛使用和深度学习技术的持续演进中得以延续。
与后期系统的比较
与后来的大型语言模型（如OpenAI的GPT系列）相比，GNMT是一个专门的翻译系统，而不是通用语言模型。它专门在平行翻译数据上训练，只能执行翻译，不能执行摘要或问答等其他任务。相比之下，现代LLM通常基于Transformer架构，可以处理多种任务，并且也已集成到谷歌翻译等产品中，提供更高质量和灵活性。
尽管已经过时，GNMT仍然是人工智能和机器学习历史上的一个里程碑，展示了深度学习如何被应用于大规模解决现实世界问题。它的开发也凸显了大规模数据和计算资源的重要性，这些至今仍是该领域的关键驱动力。