Google神经机器翻译（GNMT）是Google开发并于2016年11月推出的神经机器翻译系统。它使用人工神经网络来提高Google翻译的流畅度和准确性，取代了之前的统计机器翻译方法。该系统旨在一次翻译整个句子，利用深度学习来提升翻译质量。到2020年，GNMT已被基于Transformer编码器和RNN解码器的更新深度学习系统所取代。
GNMT架构由两个主要部分组成：编码器和解码器，两者均基于LSTM（长短期记忆）网络。每个部分有8层，每层有1024个单元，并通过一个简单的1024宽前馈注意力机制连接。总参数数量有不同报道，分别为超过1.6亿、约2.1亿、2.78亿或3.8亿。该系统使用WordPiece分词器和束搜索解码策略，并运行在张量处理单元（TPU）上。
历史
Google Brain项目为GNMT奠定了基础，该项目于2011年由Google研究员Jeff Fellow、Google研究员Greg Corrado和斯坦福大学教授Andrew Ng在Google X实验室建立。2016年11月，GNMT推出，Google翻译开始使用神经机器翻译，取代了自2007年10月起使用的统计方法。
训练GNMT需要大量计算资源。根据OpenAI在2018年的估计，训练过程需要约79 petaFLOP-days（即7e21 FLOPs）的计算量，比2014年的Seq2seq模型大1.5个数量级，但比2021年的GPT-J-6B小约2倍。
新引擎最初支持八种语言：英语、法语、德语、西班牙语、葡萄牙语、中文、日语、韩语和土耳其语。2017年3月，增加了俄语、印地语、越南语和泰语支持。随后在Google翻译社区的帮助下，增加了希伯来语和阿拉伯语。2017年4月中旬，增加了荷兰语及其他与英语相关的欧洲语言。2017年4月底，又增加了九种印度语言：印地语、孟加拉语、马拉地语、旁遮普语、泰米尔语、泰卢固语、马拉雅拉姆语和卡纳达语。
到2020年，Google已逐步淘汰GNMT，改用基于Transformer的神经机器翻译系统。
技术
GNMT采用基于实例的机器翻译方法，从数百万个语言翻译实例中学习。该系统架构最初在Google翻译支持的超过一百种语言上进行了测试。通过端到端的大规模框架，系统随时间学习以生成更好、更自然的翻译。GNMT尝试一次翻译整个句子，而不是逐词翻译，并通过编码句子的语义而非记忆短语对短语的翻译来实现跨语言翻译。
该神经网络使用深度学习技术进行训练，其设计借鉴了心理学和语言学的见解，以发现语言之间的共性。它并未创建通用的中间语言，而是旨在以与语言无关的方式编码意义。
评估
GNMT相比之前的Google翻译系统有了显著改进，因为它能够处理“零样本翻译”，即直接在不同语言之间进行翻译，而无需先通过英语。例如，如果系统在日语-英语和韩语-英语对上进行训练，它就能直接进行日语-韩语翻译。该系统似乎学习了一种与语言无关的中间表示，从而实现了这一能力。而之前的Google翻译系统需要先将源语言翻译成英语，再翻译成目标语言。
2019年7月发表在《内科学年鉴》上的一项研究发现，“Google翻译对于翻译非英语试验是可行且准确的工具。”审阅机器翻译试验的审稿人之间仅出现一次因翻译错误导致的分歧。由于许多医学研究因语言障碍而被排除在系统综述之外，GNMT有潜力减少这种偏见并提高此类综述的准确性。
遗产
GNMT是将深度学习应用于机器翻译的一个里程碑，证明了基于神经网络的方法优于传统的统计方法。其架构影响了后续Transformer模型的发展，这些模型后来成为大型语言模型的基础。该系统对张量处理单元的使用也凸显了专用硬件在AI工作负载中的重要性。到2020年，向Transformer模型的转变标志着翻译技术的下一次演进，而GNMT为此奠定了基础。