神经机器翻译（NMT）是一种利用人工神经网络预测词语序列可能性的机器翻译方法，通常在一个集成模型中处理整个句子。与早期将句子拆分为短语并应用独立组件的统计方法不同，NMT将翻译视为一个端到端的学习问题，其中神经网络经过训练，直接将源句子映射到目标句子。这种方法已成为机器翻译的主导范式，在高资源语言之间进行特定条件下的翻译时，能够产生与人工翻译相媲美的译文。然而，挑战依然存在，尤其是在高质量数据有限的语言、训练数据与真实世界文本之间的领域偏移，以及倾向于产生直译结果等方面。
NMT系统为潜在的翻译分配概率，并搜索最可能的输出。大多数模型是自回归的，意味着它们一次生成一个目标词元，每个预测都基于源句子和先前生成的词元。整个翻译的概率是这些单个词元概率的乘积。在架构上，大多数NMT模型遵循编码器-解码器设计：编码器将源句子处理为向量或矩阵表示，解码器利用该表示及其自身先前的输出，逐词元生成目标句子。此过程持续到生成特殊的句末词元为止。
历史发展
NMT的根源可以追溯到20世纪80年代末。1987年，罗伯特·B·艾伦展示了一个前馈神经网络，用于将自动生成的英语句子（词汇量有限，仅31个词）翻译成西班牙语。由于该网络缺乏处理可变长度序列的机制，其输入和输出层的大小被设计为适应各自语言中最长的句子。艾伦还建议使用自联想模型进行编码和解码。
1991年，朗尼·克里斯曼通过训练由乔丹·B·波拉克开发的独立递归自联想记忆（RAAM）网络，扩展了这一工作，分别用于源语言和目标语言。这些网络将任意长度的句子编码为固定大小的隐藏表示，并解码回来，同时附加约束条件，即两个网络共享一个隐藏表示，从而实现翻译。1997年，福卡达和涅科将其简化为递归异联想记忆，直接训练源编码器和目标解码器。同样在1997年，卡斯塔尼奥和卡萨库贝塔使用埃尔曼递归神经网络进行小规模翻译任务。
尽管有这些早期进展，但当时的计算资源不足以处理现实世界翻译所需的大规模数据集。因此，统计机器翻译在20世纪90年代和2000年代成为最先进的技术。
混合方法
在统计机器翻译时代，一些研究人员将神经方法整合到现有框架中。例如，霍尔格·施文克及其同事用神经语言模型取代了传统的n-gram语言模型，并使用前馈网络来估计短语翻译概率。这些混合系统保留了统计方法典型的对数线性特征组合，但利用神经组件来改进特定子问题。
seq2seq突破
现代端到端NMT时代始于2013年和2014年。卡尔赫布伦纳和布伦森使用卷积神经网络（CNN）编码源句子，而赵等人以及苏茨克维等人独立采用递归神经网络（RNN）。三者都使用基于源句子固定编码的RNN解码器。然而，这些模型在较长句子上表现不佳，这一局限性在2014年由巴达瑙等人通过引入注意力机制得到解决。在每个解码步骤中，注意力允许解码器关注源句子的不同部分，动态计算上下文向量，从而提高翻译质量，尤其是对于较长的输入。
现代架构与进展
注意力机制成为后续NMT系统的基础组件。2017年，瓦斯瓦尼等人引入的Transformer架构用多头注意力机制取代了递归和卷积层，实现了并行处理并更好地处理长距离依赖。Transformer迅速成为NMT的标准，并支撑了大型语言模型的发展，这些模型通过在海量语料库上进行预训练，进一步提升了翻译能力。
现代NMT系统通常采用束搜索进行解码、数据增强以提高鲁棒性，以及模型剪枝以提高效率。它们由主要云服务提供商部署，包括谷歌云、亚马逊网络服务和Azure，以及专门的AI公司。尽管有这些进展，NMT仍面临低资源语言和领域适应的挑战，其输出可能过于直译，有时会遗漏习语或文化细微表达。
评估与影响
NMT系统通常使用自动指标（如BLEU）进行评估，这些指标将生成的翻译与参考翻译进行比较，但人工评估对于评估流畅性和充分性仍然很重要。NMT的影响超越了翻译工具本身；它影响了生成式AI和人工智能等更广泛的领域，展示了端到端学习的力量。截至2020年代中期，NMT持续发展，研究重点在于提高效率、处理多语言场景，以及整合外部知识以解决其局限性。