BLEU（bilingual evaluation understudy）は、ある自然言語から別の自然言語へ機械翻訳されたテキストの品質を評価するためのアルゴリズムである。この指標は、機械翻訳がプロの人間による翻訳に近いほど優れているという原理に基づいて動作する。2001年にIBMで開発されたBLEUは、翻訳品質に関する人間の判断と高い相関を示した最初の自動指標の一つであり、低コストと高速性から現在もその人気を維持している。
BLEUスコアは、個々の翻訳セグメント（通常は文）について、高品質な参照翻訳の集合と比較して計算される。これらのセグメントスコアは、コーパス全体で平均化され、全体的な翻訳品質を推定する。この指標は、了解性や文法の正しさを直接考慮しない。その出力は常に0から1の間の数値であり、1に近い値ほど参照翻訳との類似性が高いことを示す。完璧な1.0を達成する人間の翻訳はほとんどない。なぜなら、それは参照と完全に一致することを要求し、参照翻訳を追加すると一致の機会が増え、スコアが上昇するからである。
数学的定義
BLEUスコアは、候補文字列ŷを参照文字列のリスト（y^(1)、...、y^(N)）と比較する。スコアは、候補が参照に酷似している場合に1に近づき、そうでない場合は0に近づく。言語教師が参照解答と比較して生徒の翻訳を採点するという類推が有用である。
M個の候補文字列からなるコーパスについて、各候補が独自の参照翻訳セットを持つ場合、BLEUはn-gramに基づく修正適合率スコアを計算する。n-gramとは、テキストからの連続するn語の並びである。この指標は、候補翻訳中のn-gramのうち、いずれかの参照翻訳に出現するものを数えるが、繰り返されるn-gramの過大評価を避けるためにカウントをクリップする。
修正適合率
n-gram（通常はn = 1から4）の修正適合率は、いずれかの参照n-gramと一致する候補n-gramの数を、候補n-gramの総数で割ることによって計算される。簡潔さペナルティは、短い翻訳が人為的に高い適合率スコアを達成する傾向に対処する。これは、参照よりも短い候補にペナルティを課す。
最終的なBLEUスコアは、n-gram適合率の幾何平均に簡潔さペナルティを乗じたものである。一般的な慣行では、次数1から4のn-gramに対して均一な重みを使用する。
== 歴史 ==
Kishore Papineni、Salim Roukos、Todd Ward、Wei-Jing Zhuは、IBMのトーマス・J・ワトソン研究所で働きながらBLEUを開発した。彼らは2002年に計算言語学会（ACL）の年次大会でこれを発表した。この指標は、翻訳品質の人間の判断と高い相関があると主張された最初の自動評価方法の一つとして登場した。その導入は、高価で遅い人間による評価に代わる、高速で安価な代替手段の必要性に応えるものであった。BLEUはすぐにMachine learningおよび自然言語処理研究における標準的なベンチマークとなり、学術論文や業界の評価で広く採用された。
数学的基礎
BLEUスコアは、セグメント（通常は文）ごとに、候補翻訳を1つ以上の参照翻訳と比較して計算される。このアルゴリズムは修正n-gram適合率を計算する。これは、候補内のn-gram（連続するn語の並び）のうち、いずれかの参照翻訳に出現するものを数え、候補が参照内で発生する回数よりも多くn-gramを繰り返す場合の過大カウントを防ぐクリップ機構を備えている。この適合率は、一般的に1から4までの範囲のn-gram長について計算される。
簡潔さペナルティは、参照と比較して短すぎる候補を抑制するためにスコアに適用される。これは、短い出力が一致する単語のみを含めることで高い適合率を達成できるためである。簡潔さペナルティは、候補の長さと実効参照長の比率から計算され、不完全な翻訳にペナルティが課されることを保証する。最終的なBLEUスコアは、修正n-gram適合率の幾何平均にこの簡潔さペナルティ係数を乗じたものである。
出力は常に0と1の間に収まり、計算の低コストと高速性からその人気を維持している。完璧なスコア1を達成する人間の翻訳はほとんどない。なぜなら、それは候補が参照翻訳の一つと同一であることを示すからである。n-gram一致の機会が増えるため、参照翻訳を追加すると一般的にBLEUスコアが上昇する。
歴史と発展
BLEUは2001年にIBMの研究者（Kishore Papineni、Salim Roukos、Todd Ward、Wei-Jing Zhuを含む）によって導入された。この指標は、機械翻訳のための安価で言語に依存しない評価方法の必要性に応えるために設計され、高価で遅い人間による評価を置き換えるものであった。bilingual evaluation understudyという名前は、人間の審査員の代役としての役割を反映している。
この指標の導入は、統計的機械翻訳への関心の高まりと時期を同じくしており、急速な反復にはシステム出力を比較する自動化された方法が必要であった。BLEUの単純さと人間の判断との強い相関は、この分野で長年にわたって標準的なベンチマークとなった。
n-gram適合率と簡潔さペナルティ
BLEUは、通常1から4までの様々な長さのn-gramについて適合率を計算する。各n-gram次数の修正適合率は、n-gramが単一の参照内に出現する最大回数を数え、候補のカウントをその最大値に上限設定する。これにより、過度に長いまたは反復的な翻訳がスコアを不正に操作することを防ぐ。
簡潔さペナルティは、参照よりも短い候補翻訳に適用される。候補が参照よりも長い場合、ペナルティは1である。それ以外の場合、長さの比率に応じて指数関数的に減少する。このペナルティは、高い適合率を達成する可能性のある不完全な翻訳を抑制する。
幾何平均とスコア範囲
最終的なBLEUスコアは、n-gram次数（通常はn = 1から4）にわたる修正適合率を幾何平均で組み合わせる。簡潔さペナルティがこの平均に乗算される。BLEUスコアは通常0と1の間に収まるが、0から100のスケールでパーセンテージとして報告されることも多い。0.4を超えるスコアは一般的に高品質の翻訳と見なされるが、このスケールは絶対的なものではなく、言語ペアとドメインに大きく依存する。
応用と限界
BLEUは、機械翻訳研究で最も広く使用されている指標の一つであり続けている。学術論文、業界ベンチマーク、共有タスクでシステムを評価するために使用されてきた。この指標は、翻訳以外の分野、例えばテキスト要約や画像キャプション生成でも使用されており、参照テキストが正解データとして機能する。
批評家は、BLEUが了解性や文法の正しさを直接測定しないと指摘している。参照と意味的に異なるが流暢な候補は低いスコアになる可能性があり、不自然だがn-gramを共有する候補は高いスコアになる可能性がある。この指標のn-gram一致は純粋に語彙的な反映であり、言い換えや同義語は意味が保持されていてもペナルティが課される。人間の判断との相関はコーパスレベルでは強いが、個々の文では弱い。
応用と限界
BLEUは、Machine learning研究およびLarge language modelベースの翻訳システムの開発において、最も人気のある自動指標の一つであり続けている。Artificial intelligence開発におけるモデル反復の比較や、Neural networkモデルのハイパーパラメータ調整に頻繁に使用される。その低い計算コストは、トレーニングおよび開発サイクル中の大規模評価に適している。
限界には、参照翻訳品質への感度、意味的等価性の考慮の欠如、信頼できるスコアのための複数参照の必要性が含まれる。BLEUはまた、参照の表現に密接に一致する翻訳を好む傾向があり、有効な代替翻訳にペナルティを課す可能性がある。METEORやROUGEなどの後続指標は、これらの欠点の一部に対処しようと試みてきたが、BLEUはMachine learning研究において広く引用されるベースラインであり続けている。
応用と影響
BLEUは自然言語処理の分野全体で使用されており、特にDeep learningアプローチ（Transformer (architecture)ベースのモデルなど）で開発された翻訳システムのトレーニングと評価において重要である。また、翻訳用に設計されたにもかかわらず、テキスト要約や画像キャプション生成など、他の生成タスクにも適用されてきた。この指標の影響は学界を超えて広がっており、OpenAI、Google DeepMind、Anthropicなどの主要なAI研究所や企業は、生成モデルのベンチマークにBLEUまたはその変種を使用してきた。
NLTK（Natural Language Toolkit）ライブラリなどの標準実装は、BLEUスコアを計算するための使いやすい関数を提供する。このアクセシビリティは、自然言語処理評価におけるデフォルト指標としての役割を確固たるものにした。しかし、研究者はBLEUが意味的等価性をうまく捉えていないと指摘している。同じ意味で異なる語彙選択を持つ2つの翻訳は、高品質であっても低いスコアを受け取る可能性がある。この限界は代替指標の開発につながったが、BLEUは機械翻訳評価における基礎的なベースラインであり続けている。
限界と批判
BLEUにはいくつかの既知の限界がある。文法の正しさを無視し、n-gram一致を超えて語順を明示的に考慮しない。また、参照の表現と一致しない同義語や言い換えを認識できない。これらの弱点は、翻訳が正確であるにもかかわらずスコアが低い場合や、語彙的重複が多い欠陥のある翻訳が高いスコアを得る場合につながる可能性がある。
さらに、BLEUスコアは参照翻訳の数と品質に敏感である。システムは一般的なフレーズを好むことでBLEUを最適化でき、流暢さや適切性を犠牲にすることがある。これらの問題にもかかわらず、BLEUはコーパスレベルで人間の判断と合理的に相関し、迅速なシステム比較に広く使用され続けている。ただし、新しい指標が研究環境でますます補完または置き換えるようになっている。
応用と限界
BLEUの主な応用は、初期の統計的フレーズベースモデルから現代のNeural networkおよびTransformer (architecture)ベースのアプローチまで、機械翻訳システムの評価である。また、テキスト要約や画像キャプション生成などのタスクにも適用されてきた。その低い計算コストは、Deep learningトレーニングループ中に数千の翻訳を迅速にスコアリングする必要がある反復開発に理想的である。
しかし、BLEUには既知の限界がある。意味的等価性を捉えず、異なる語彙選択を持つ言い換えは低いスコアになる可能性がある。また、形態論的に豊かな言語で苦労し、n-gram隣接性を超えた語順を考慮しない。これらの欠点は代替指標の開発を促進したが、BLEUはほとんどの大規模言語モデルおよびNeural network翻訳研究におけるベースライン参照であり続けている。
応用と限界
BLEUは、Transformer (architecture)アーキテクチャや大規模言語モデルに基づくシステムを含む翻訳システムを比較するために、学術研究と業界で広く使用されている。モデル開発中の迅速な回帰チェックとして機能し、人間による評価を補完する。しかし、BLEUには既知の限界がある。特に形態論的に豊かな言語や言い換えが有効な場合、人間の判断との相関は不完全である。また、意味的等価性よりも語彙的重複を報酬とし、このギャップは後の指標（METEORやROUGEなど）が対処しようとしたが、BLEUは最も引用され続けている。
これらの欠点にもかかわらず、BLEUの単純さと再現性は、機械翻訳研究および関連タスクでの継続的な使用を確実にしてきた。この分野におけるその役割は基礎的であり、Neural networkベースの翻訳システムの評価プロトコルの設計に影響を与えている。