BLEU（双语评估替补）是一种用于评估文本从一种自然语言机器翻译成另一种自然语言质量的算法。该指标基于的原则是，机器翻译越接近专业人工翻译，其质量就越好。BLEU于2001年在IBM开发，是最早显示出与人工翻译质量判断高度相关的自动化指标之一，因其低成本和高速度而保持流行。
BLEU分数是针对单个翻译片段（通常是句子）计算的，通过将其与一组高质量的参考翻译进行比较。这些片段分数随后在整个语料库上取平均，以估计整体翻译质量。该指标不直接考虑可理解性或语法正确性。其输出始终是0到1之间的数字，其中接近1的值表示与参考翻译的相似度更高。很少有翻译能达到完美的1.0，因为这需要与参考翻译完全匹配，而增加更多参考翻译会增加匹配的机会，从而提高分数。
数学定义
BLEU分数将候选字符串ŷ与参考字符串列表（y^(1), ..., y^(N)）进行比较。当候选与参考非常相似时，分数接近1；当不相似时，分数接近0。一个有用的类比是语言教师通过将学生的翻译与参考答案进行比较来评分。
对于包含M个候选字符串的语料库，每个字符串都有自己的参考翻译集，BLEU基于n-gram计算修正精确度分数。n-gram是文本中n个单词的连续序列。该指标统计候选翻译中出现在任何参考翻译中的n-gram数量，但通过截断计数来避免重复n-gram的过度计数。
修正精确度
n-gram（通常n = 1到4）的修正精确度通过将匹配任何参考n-gram的候选n-gram数量除以候选n-gram的总数来计算。简洁惩罚解决了较短翻译倾向于获得人为高精确度分数的问题。它惩罚比参考翻译短的候选。
最终的BLEU分数是n-gram精确度的几何平均值乘以简洁惩罚。常见做法是对1到4阶的n-gram使用均匀权重。
== 历史 ==
Kishore Papineni、Salim Roukos、Todd Ward和Wei-Jing Zhu在IBM的托马斯·J·沃森研究中心工作时开发了BLEU。他们于2002年在计算语言学协会（ACL）年会上发表了它。该指标成为首批声称与人工翻译质量判断高度相关的自动化评估方法之一。它的引入解决了对快速、廉价的人工评估替代方案的需求，因为人工评估既昂贵又缓慢。BLEU迅速成为Machine learning和自然语言处理研究中的标准基准，在学术论文和行业评估中被广泛采用。
数学基础
BLEU分数按片段（通常是句子）计算，通过将候选翻译与一个或多个参考翻译进行比较。该算法计算修正的n-gram精确度：它统计候选翻译中出现在任何参考翻译中的n-gram（n个单词的连续序列）的数量，并通过截断机制防止当候选重复n-gram的次数超过参考中出现的次数时过度计数。此精确度针对一系列n-gram长度计算，通常是1到4。
对分数应用简洁惩罚，以阻止相对于参考过短的候选，因为短输出可能仅通过包含匹配的单词而获得高精确度。简洁惩罚根据候选长度与有效参考长度的比率计算，确保不完整的翻译受到惩罚。最终的BLEU分数是修正的n-gram精确度的几何平均值乘以该简洁惩罚因子。
输出始终在0到1之间，因其低计算成本和高速度而保持流行。很少有翻译能达到完美的1分，因为那将表明候选与其中一个参考翻译完全相同。由于n-gram匹配的机会更多，包含更多参考翻译通常会提高BLEU分数。
历史与发展
BLEU于2001年由IBM的研究人员引入，包括Kishore Papineni、Salim Roukos、Todd Ward和Wei-Jing Zhu。该指标旨在满足对廉价、语言无关的机器翻译评估方法的需求，取代昂贵且缓慢的人工评估。名称“双语评估替补”反映了其作为人工评判替代品的角色。
该指标的引入恰逢统计机器翻译兴趣的增长，快速迭代需要一种自动化的方式来比较系统输出。BLEU的简单性和与人工判断的强相关性使其成为该领域多年的标准基准。
N-gram精确度与简洁惩罚
BLEU计算不同长度（通常为1到4）的n-gram的精确度。每个n-gram阶的修正精确度统计n-gram在任何单个参考中出现的最大次数，并将候选计数上限设为此最大值。这防止了过长或重复的翻译通过操纵分数。
对短于参考翻译的候选翻译应用简洁惩罚。如果候选长于参考，则惩罚为1；否则，它随长度比率呈指数递减。此惩罚阻止了可能获得高精确度的不完整翻译。
几何平均值与分数范围
最终的BLEU分数结合了跨n-gram阶的修正精确度，使用几何平均值，通常针对n = 1到4。简洁惩罚乘以该平均值。BLEU分数通常在0到1之间，尽管它们经常以0到100的百分比报告。高于0.4的分数通常被认为是高质量的翻译，但该尺度不是绝对的，且高度依赖于语言对和领域。
应用与局限性
BLEU仍然是机器翻译研究中使用最广泛的指标之一。它已被用于评估学术论文、行业基准和共享任务中的系统。该指标也用于翻译之外的领域，如文本摘要和图像字幕，其中参考文本作为真实基准。
批评者指出，BLEU不直接衡量可理解性或语法正确性。流畅但语义上不同于参考的候选可能得分较低，而笨拙但共享n-gram的候选可能得分较高。该指标的n-gram匹配纯粹是词汇层面的镜像，因此释义和同义词即使意义被保留也会受到惩罚。与人工判断的相关性在语料库层面很强，但对单个句子较弱。
应用与局限性
BLEU仍然是Machine learning研究和基于Large language model的翻译系统开发中最流行的自动化指标之一。它经常用于比较Artificial intelligence开发中的模型迭代，并调整Neural network模型中的超参数。其低计算成本使其适合在训练和开发周期中进行大规模评估。
局限性包括对参考翻译质量的敏感性、不考虑语义等价性，以及需要多个参考才能获得可靠分数。BLEU还倾向于偏好紧密反映参考措辞的翻译，可能惩罚有效的替代翻译。后续指标，如METEOR和ROUGE，已尝试解决其中一些缺点，尽管BLEU在Machine learning研究中仍然是一个广泛引用的基线。
应用与影响
BLEU在自然语言处理领域被广泛使用，特别是在训练和评估使用Deep learning方法（如Transformer (architecture)-based模型）开发的翻译系统时。它也被改编用于其他生成任务，包括文本摘要和图像字幕，尽管其最初设计用于翻译。该指标的影响超出了学术界；主要的AI实验室和公司，包括OpenAI、Google DeepMind和Anthropic，在基准测试生成模型时都使用了BLEU或其变体。
标准实现，如NLTK（自然语言工具包）库中的那些，提供了易于使用的函数来计算BLEU分数。这种可访问性巩固了其作为自然语言处理评估中默认指标的角色。然而，研究人员指出，BLEU不能很好地捕捉语义等价性；两个意义相同但用词不同的翻译可能得分较低，尽管它们质量很高。这一局限性导致了替代指标的发展，但BLEU仍然是机器翻译评估中的基础基线。
局限性与批评
BLEU有几个已知的局限性。它忽略语法正确性，并且除了n-gram匹配外，不明确考虑词序。它也无法识别与参考措辞不匹配的同义词或释义。这些弱点可能导致翻译准确但得分较低，或词汇重叠度高但有缺陷的翻译得分较高的情况。
此外，BLEU分数对参考翻译的数量和质量敏感。系统可以通过偏好常见短语来优化BLEU，有时以流畅性或充分性为代价。尽管存在这些问题，BLEU在语料库层面与人工判断合理相关，并仍广泛用于快速系统比较，尽管较新的指标在研究环境中越来越多地补充或取代它。
应用与局限性
BLEU的主要应用是评估机器翻译系统，从早期的统计短语模型到现代的Neural network和Transformer (architecture)-based方法。它也被改编用于文本摘要和图像字幕等任务。其低计算成本使其非常适合迭代开发，在Deep learning训练循环中必须快速对数千个翻译进行评分。
然而，BLEU有已知的局限性。它不捕捉语义等价性，因此用词不同的释义可能得分较低。它也难以处理形态丰富的语言，并且不解释n-gram邻接之外的词序。这些缺点推动了替代指标的发展，尽管BLEU在大多数大型语言模型和Neural network翻译研究中仍然是基线参考。
应用与局限性
BLEU在学术研究和工业界被广泛用于比较翻译系统，包括基于Transformer (architecture)架构和大型语言模型构建的系统。它在模型开发期间作为快速回归检查，补充人工评估。然而，BLEU有已知的局限性：它与人工判断的相关性不完美，尤其是对于形态丰富的语言或当释义有效时。它还奖励词汇重叠而非语义等价性，这一差距是后来指标如METEOR和ROUGE试图解决的，尽管BLEU仍然是最常被引用的。
尽管存在这些缺点，BLEU的简单性和可重复性确保了其在机器翻译研究和相关任务中的持续使用。它在该领域的角色是基础性的，影响了Neural network-based翻译系统及其他领域的评估协议设计。