BLEU(双语评估替补)是一种用于评估文本从一种自然语言机器翻译成另一种自然语言质量的算法。质量被认为是机器输出与人类输出之间的对应关系：“机器翻译越接近专业人类翻译，其质量就越高”--这就是BLEU背后的核心理念。BLEU于2001年在IBM发明，是最早声称与人类质量判断高度相关的指标之一，并且至今仍是最流行且成本低廉的自动化指标之一。
评分是针对单个翻译片段（通常是句子）计算的，方法是将这些片段与一组高质量参考翻译进行比较。然后，将这些分数在整个语料库上进行平均，以得出对翻译整体质量的估计。BLEU不考虑可理解性或语法正确性。BLEU的输出始终是0到1之间的数字，表示候选文本与参考文本的相似程度，数值越接近1表示相似度越高。很少有人类翻译能达到1分，因为这要求候选文本与某个参考翻译完全相同。因此，即使是最优秀的翻译也很少获得满分。由于匹配机会更多，增加参考翻译的数量会提高BLEU分数。
历史背景
BLEU由IBM的研究人员开发，包括Kishore Papineni、Salim Roukos、Todd Ward和Wei-Jing Zhu，他们在2002年发表了一篇题为“BLEU：一种机器翻译自动评估方法”的论文中介绍了这一指标。这项工作的出现源于对机器学习和人工智能领域自动化评估需求的日益增长，尤其是在机器翻译系统变得越来越复杂的情况下。在BLEU之前，机器翻译的评估通常依赖人工评审，这种方法成本高昂、耗时且难以在不同研究之间复现。BLEU提供了一种廉价、快速且与语言无关的替代方案，可以一致地应用于任何翻译系统。
该指标是在统计机器翻译逐渐兴起的时期推出的，并迅速成为该领域的标准基准。其开发与IBM研究部门的工作密切相关，该部门自20世纪80年代以来一直是自然语言处理领域的重要参与者。“双语评估替补”这一名称反映了其作为人工评估替代品的角色，类似于替补演员在主演缺席时顶替上场。
数学定义
基本设置
BLEU评分的基本定义需要两个参数：一个候选字符串和一个参考字符串列表。其核心理念是，当候选字符串与参考字符串相似时，BLEU评分应接近1，不相似时则接近0。打个比方，BLEU评分就像语言老师通过检查学生翻译与参考答案的接近程度来评估其翻译质量。
在自然语言处理中，评估通常涉及大量候选字符串，因此需要将BLEU评分推广到更一般的情况：有一个包含M个候选字符串的列表（称为“语料库”），并且每个候选字符串对应一个参考字符串列表。对于任何字符串和任何整数n ≥ 1，其n-gram集合定义为该字符串中所有连续的n个词的唯一序列。例如，字符串“the cat sat”的2-gram集合为{“the cat”，“cat sat”}。
精确率与修正精确率
BLEU的核心是一种修正形式的精确率。标准精确率会计算候选字符串中出现在任何参考字符串中的n-gram数量，除以候选字符串中n-gram的总数。然而，这种方法可能因重复常见词而被夸大。BLEU采用修正精确率：对于候选字符串中的每个n-gram，其计数被限制为它在任何单个参考字符串中出现的最大次数。这防止了过度计数，并确保分数反映真实的对应关系。
对于每个n-gram阶数n（通常为1到4），修正精确率的计算方法是：将所有候选句子中修正后的n-gram计数相加，除以所有候选句子中n-gram的总数。这通常记为p_n。
brevity惩罚
BLEU的一个关键组成部分是 brevity惩罚，它解决了短翻译的问题。系统可能通过只输出几个恰好匹配参考的词语来获得高精确率，但这样的翻译是不完整的。brevity惩罚基于候选语料库总长度与参考语料库总长度的比率计算。如果候选文本比参考文本短，惩罚会降低分数；如果更长，则不施加惩罚。公式为：如果c > r，则BP = 1；如果c ≤ r，则BP = exp(1 - r/c)，其中c是候选长度，r是有效参考长度（即每个候选句子最接近的参考句子长度的总和）。
最终分数
最终的BLEU分数是 brevity惩罚与n-gram阶数1到N（通常N=4）的修正精确率几何平均数的乘积。几何平均数对各阶n-gram赋予相同权重。结果值在0到1之间。在实践中，分数通常以百分比报告（例如，BLEU 30表示0.30）。公式为：BLEU = BP exp(Σ_{n=1}^{N} (1/N) log p_n)。
在机器翻译中的应用
BLEU最初是为评估机器翻译系统而设计的，并且至今仍是该领域标准指标。从早期统计模型到现代神经网络方法，研究团队和公司都使用BLEU来比较其输出与参考翻译。例如，谷歌DeepMind等组织在学术论文中报告BLEU分数，以展示相对于基线的改进。
该指标在开发过程中特别有用，因为它支持快速迭代。开发人员可以在每次模型更改后在测试集上运行BLEU，从而无需人工标注即可跟踪进度。这使BLEU成为该领域的事实标准，尽管它存在已知的局限性。
在文本生成和大型语言模型中的应用
除了机器翻译，BLEU还被改编用于评估其他文本生成任务，包括摘要生成、对话系统和图像描述。随着大型语言模型（如OpenAI和Anthropic开发的模型）的兴起，BLEU被用作评估输出质量的几种自动化指标之一。然而，其在此类开放式生成任务中的适用性存在争议，因为BLEU奖励与参考的精确n-gram重叠，这可能无法捕捉语义等价性。
在摘要生成等任务中，BLEU常与ROUGE等指标一起使用。对于对话系统，BLEU可能产生误导，因为一个提示可能有多个有效响应，而单一参考无法代表所有可能性。尽管存在这些问题，BLEU仍然是一种快速且廉价的粗略质量估计方法，并常作为研究论文中的基线指标被报告。
局限性与批评
BLEU有几个已知的局限性。首先，它不考虑可理解性或语法正确性；一个翻译可能因与参考共享许多n-gram而获得高分，但语法上仍然不正确。其次，它对参考的选择很敏感；不同的参考集可能为同一候选产生截然不同的分数。第三，BLEU倾向于偏好与参考词汇相似的翻译，这可能惩罚使用不同措辞或句子结构的有效翻译。
另一个批评是BLEU不能很好地处理同义词或释义。例如，如果参考是“the cat sat on the mat”，而候选是“the feline rested on the rug”，尽管语义等价，BLEU分数也会很低。这促使了替代指标的发展，如METEOR和ROUGE，它们结合了词干提取和同义词匹配。在生成式AI的背景下，研究人员还指出，BLEU与人类对创造性或开放式输出的判断相关性较差。
与其他指标的关系
BLEU是自然语言处理中更广泛的自动化评估指标家族的一部分。它侧重于精确率，关注候选内容在参考中出现的程度。相比之下，ROUGE侧重于召回率，衡量参考内容被候选捕获的程度。METEOR结合了精确率和召回率，并加入同义词匹配和词序差异惩罚。这些指标通常一起使用，以提供更全面的评估。
在基于Transformer的模型和深度学习系统中，BLEU已在某些强化学习设置中用作训练目标，尽管这不如纯粹用于评估常见。该指标的简单性和计算效率使其非常适合大规模基准测试，例如学术会议组织的共享任务。
实际考虑
使用BLEU时，几个实际因素会影响分数。参考翻译的数量很重要：增加更多参考通常会提高分数，因为n-gram匹配的机会更多。分词方法也会影响结果；例如，是否去除标点或归一化大小写会改变n-gram计数。不同实现可能对相同数据产生略有不同的分数，因此报告使用的确切设置非常重要。
BLEU分数不能跨不同语料库或语言进行比较。一个测试集上的0.40分数可能非常优秀，而在另一个测试集上可能只是平庸。因此，BLEU最适合用于同一数据上系统之间的相对比较，而不是作为质量的绝对度量。研究人员通常将BLEU与人工评估一起报告，以验证发现。
未来方向
随着人工智能和机器学习的持续发展，BLEU的角色正在被重新评估。更新的指标，如BERTScore和COMET，使用预训练模型的嵌入来更有效地捕获语义相似性。这些指标通常与人类判断的相关性更好，但计算成本更高。然而，BLEU由于其简单性和可解释性，仍然是一个有用的基线。
在大型语言模型时代，评估越来越侧重于指令遵循和事实准确性等任务，在这些方面BLEU的相关性较低。尽管如此，BLEU作为最早的自动化评估指标之一的遗产塑造了该领域处理质量评估的方式。其原则--将机器输出与人类参考进行比较--继续为新指标的设计提供信息。