BLEU（バイリンガル評価アンダースタディ）は、ある自然言語から別の自然言語へ機械翻訳されたテキストの品質を評価するためのアルゴリズムである。品質は、機械の出力と人間の出力との対応関係であると考えられる。「機械翻訳がプロの人間による翻訳に近ければ近いほど、その品質は優れている」というのが、BLEUの中心的な考え方である。2001年にIBMで発明されたBLEUは、人間による品質評価と高い相関を示すと主張した最初の指標の1つであり、現在でも最も一般的で安価な自動評価指標の1つであり続けている。
スコアは、個々の翻訳セグメント（通常は文）について、高品質の参照翻訳のセットと比較して計算される。これらのスコアはその後、コーパス全体で平均化され、翻訳全体の品質の推定値に到達する。了解度や文法的な正しさは考慮されない。BLEUの出力は常に0から1の間の数値であり、候補テキストが参照テキストとどの程度類似しているかを示し、1に近い値ほど類似度が高いことを示す。人間による翻訳で1のスコアを獲得することはほとんどない。これは、候補が参照翻訳の1つと同一であることを示すためである。このため、1のスコアを獲得する必要はない。参照翻訳を追加すると、一致する機会が増えるため、BLEUスコアは上昇する。
歴史的背景
BLEUは、IBMの研究者であるKishore Papineni、Salim Roukos、Todd Ward、Wei-Jing Zhuらによって開発され、2002年の論文「BLEU: a Method for Automatic Evaluation of Machine Translation」で発表された。この研究は、機械翻訳システムがより洗練されるにつれて、Machine learningやArtificial intelligenceの分野で自動評価へのニーズが高まったことから生まれた。BLEU以前は、機械翻訳の評価は通常、人間の評価者に依存しており、費用がかかり、時間がかかり、研究間での再現が困難であった。BLEUは、安価で高速、かつ言語に依存しない代替手段を提供し、あらゆる翻訳システムに一貫して適用できるものであった。
この指標は、統計的機械翻訳が注目を集めていた時期に導入され、すぐにこの分野の標準的なベンチマークとなった。その開発は、1980年代から自然言語処理の主要プレーヤーであったIBMの研究部門の活動と密接に関連していた。「バイリンガル評価アンダースタディ」という名前は、主役の代役を務めるアンダースタディ俳優のように、人間による評価の代役としての役割を反映している。
数学的定義
基本設定
BLEUスコアを定義するための基本的な最初の試みは、候補文字列と参照文字列のリストの2つの引数を取るものである。BLEUスコアは、候補が参照と類似している場合は1に近く、そうでない場合は0に近くなるべきであるという考え方である。例えるならば、BLEUスコアは、言語教師が生徒の翻訳の品質を、参照解答にどれだけ忠実に従っているかをチェックして採点するようなものである。
自然言語処理では、多数の候補文字列を評価する必要があるため、BLEUスコアを、M個の候補文字列のリスト（「コーパス」と呼ばれる）があり、各候補文字列に対して参照候補文字列のリストがある場合に一般化する必要がある。任意の文字列と任意の整数n ≥ 1に対して、そのn-gramの集合は、n個の単語の連続する一意なシーケンスの集合として定義される。例えば、文字列「the cat sat」の2-gramは、{"the cat", "cat sat"}となる。
適合率と修正適合率
BLEUの中核は、修正された適合率の形式である。標準的な適合率は、候補内のn-gramのうち、いずれかの参照に出現するものの数を、候補内の全n-gramの数で割ったものとして数える。しかし、これは一般的な単語を繰り返すことで水増しされる可能性がある。BLEUはクリップされた適合率を使用する。候補内の各n-gramについて、そのカウントは、任意の単一の参照に出現する最大回数にクリップされる。これにより、過大評価が防止され、スコアが真の対応関係を反映することが保証される。
各n-gram次数n（通常は1から4）について、修正適合率は、すべての候補文にわたるクリップされたカウントの合計を、すべての候補内の全n-gramカウントの合計で割ったものとして計算される。これはしばしばp_nと表記される。
簡潔さペナルティ
BLEUの重要な構成要素は、簡潔さペナルティであり、これは短い翻訳の問題に対処するものである。システムは、参照と偶然一致する数語のみを出力することで高い適合率を達成できるが、そのような翻訳は不完全である。簡潔さペナルティは、候補コーパスの全長と参照コーパスの全長の比率に基づいて計算される。候補が参照より短い場合、ペナルティはスコアを減らす。長い場合は、ペナルティは適用されない。式は、c > rの場合BP = 1、c ≤ rの場合BP = exp(1 - r/c)であり、ここでcは候補の長さ、rは有効参照長（各候補の長さに最も近い参照長の合計）である。
最終スコア
最終的なBLEUスコアは、簡潔さペナルティと、次数1からN（通常N=4）のn-gramに対する修正適合率の幾何平均の積である。幾何平均は等しく重み付けされ、結果は0から1の間の値となる。実際には、スコアはパーセンテージで報告されることが多い（例：BLEU 30は0.30を意味する）。式は、BLEU = BP exp(Σ_{n=1}^{N} (1/N) log p_n)である。
機械翻訳への応用
BLEUは元々、機械翻訳システムの評価のために設計され、現在でもその分野の標準的な指標であり続けている。初期の統計モデルから現代のNeural networkベースのアプローチまで、翻訳システムを開発する研究グループや企業は、BLEUを使用して出力を参照翻訳と比較してきた。例えば、Google DeepMindや他の組織のシステムは、ベースラインからの改善を示すために、学術論文でBLEUスコアを報告している。
この指標は、開発中の迅速な反復に特に有用である。開発者は、モデルを変更するたびにテストセットでBLEUを実行でき、人間のアノテーターを必要とせずに進捗を追跡できる。これにより、BLEUは既知の限界にもかかわらず、この分野の事実上の標準となっている。
テキスト生成と大規模言語モデルでの使用
機械翻訳以外にも、BLEUは要約、対話システム、画像キャプションなど、他のテキスト生成タスクの評価にも適用されてきた。OpenAIやAnthropicによって開発されたようなLarge language modelの台頭に伴い、BLEUは出力品質を評価するためのいくつかの自動指標の1つとして使用されてきた。しかし、その開放的な生成への適用可能性は議論の的となっている。BLEUは参照との正確なn-gramの重複に報いるため、意味的等価性を捉えられない可能性があるからである。
要約のようなタスクでは、BLEUはROUGEなどの他の指標と併用されることが多い。対話システムでは、与えられたプロンプトに対して多くの有効な応答が存在し、単一の参照がすべての可能性を表しているとは限らないため、BLEUは誤解を招く可能性がある。これらの問題にもかかわらず、BLEUは品質の大まかな推定値を得るための迅速かつ安価な方法であり、研究論文ではベースライン指標としてしばしば報告されている。
限界と批判
BLEUには、いくつかよく知られた限界がある。第一に、了解度や文法的な正しさを考慮しない。翻訳が参照と多くのn-gramを共有していても、非文法的であれば高いスコアを獲得できる可能性がある。第二に、参照の選択に敏感であり、異なる参照セットは、同じ候補に対して非常に異なるスコアをもたらす可能性がある。第三に、BLEUは参照と語彙的に類似した翻訳を好む傾向があり、異なる言い回しや文構造を使用する有効な翻訳にペナルティを課す可能性がある。
もう一つの批判は、BLEUが同義語や言い換えをうまく処理しないことである。例えば、参照が「the cat sat on the mat」で、候補が「the feline rested on the rug」の場合、意味的に等価であるにもかかわらず、BLEUスコアは低くなる。これにより、ステミングや同義語マッチングを組み込んだMETEORやROUGEなどの代替指標の開発が進められてきた。Generative AIの文脈では、研究者はBLEUが創造的または開放的な出力に対する人間の判断と相関が低いことにも言及している。
他の指標との関係
BLEUは、自然言語処理における自動評価指標のより広いファミリーの一部である。これは適合率指向であり、候補のコンテンツのうち参照に出現する量に焦点を当てている。対照的に、ROUGEは再現率指向であり、候補によって捕捉される参照コンテンツの量を測定する。METEORは、適合率と再現率を同義語マッチングと語順の違いに対するペナルティと組み合わせる。これらの指標は、より包括的な評価を提供するためにしばしば一緒に使用される。
Transformer (architecture)ベースのモデルやDeep learningシステムの文脈では、BLEUは一部の強化学習セットアップでトレーニング目的として使用されてきたが、これは純粋に評価に使用するよりも一般的ではない。この指標の単純さと計算効率は、学術会議が主催する共有タスクなどでの大規模ベンチマークに魅力的である。
実用的な考慮事項
BLEUを使用する場合、いくつかの実用的な要因がスコアに影響を与える。参照翻訳の数は重要であり、参照を追加すると、n-gramマッチの機会が増えるため、一般的にスコアが上昇する。トークン化の方法も結果に影響を与える。例えば、句読点を削除するかどうか、大文字小文字を正規化するかどうかで、n-gramカウントが変わる可能性がある。実装が異なると、同じデータに対してわずかに異なるスコアが生成される可能性があるため、使用した正確な設定を報告することが重要である。
BLEUスコアは、異なるコーパスや言語間で比較することはできない。あるテストセットでの0.40のスコアは優れているかもしれないが、別のテストセットでは平凡かもしれない。したがって、BLEUは、絶対的な品質の尺度としてではなく、同じデータ上のシステム間の相対比較に最も適している。研究者は、調査結果を検証するために、BLEUを人間による評価と併せて報告することが多い。
今後の方向性
Artificial intelligenceとMachine learningが進化し続けるにつれて、BLEUの役割は再評価されている。BERTScoreやCOMETなどの新しい指標は、事前学習済みモデルの埋め込みを使用して、意味的類似性をより効果的に捕捉する。これらの指標は、しばしば人間の判断とより良く相関するが、計算コストが高くなる。しかし、BLEUはその単純さと解釈可能性により、有用なベースラインであり続けている。
Large language modelの時代では、評価は命令追従や事実の正確さなどのタスクにますます焦点が当てられており、BLEUはあまり関連性がない。それでも、BLEUが最初の自動評価指標の1つとして残した遺産は、この分野が品質評価に取り組む方法を形作ってきた。その原則、つまり機械の出力を人間の参照と比較することは、新しい指標の設計に情報を与え続けている。