BLEU (bilingual evaluation understudy) ist ein Algorithmus zur Bewertung der Qualität von Text, der maschinell von einer natürlichen Sprache in eine andere übersetzt wurde. Qualität wird als die Übereinstimmung zwischen der Ausgabe einer Maschine und der eines Menschen betrachtet: „Je näher eine maschinelle Übersetzung an einer professionellen menschlichen Übersetzung liegt, desto besser ist sie“ - dies ist die zentrale Idee hinter BLEU. BLEU wurde 2001 bei IBM erfunden und war eine der ersten Metriken, die eine hohe Korrelation mit menschlichen Qualitätsurteilen beanspruchte, und bleibt eine der beliebtesten automatisierten und kostengünstigen Metriken.
Die Bewertungen werden für einzelne übersetzte Segmente - in der Regel Sätze - berechnet, indem sie mit einer Reihe von qualitativ hochwertigen Referenzübersetzungen verglichen werden. Diese Bewertungen werden dann über das gesamte Korpus gemittelt, um eine Schätzung der Gesamtqualität der Übersetzung zu erhalten. Verständlichkeit oder grammatikalische Korrektheit werden nicht berücksichtigt. Die Ausgabe von BLEU ist immer eine Zahl zwischen 0 und 1, die angibt, wie ähnlich der Kandidatentext den Referenztexten ist, wobei Werte näher an 1 ähnlichere Texte darstellen. Nur wenige menschliche Übersetzungen erreichen eine Punktzahl von 1, da dies bedeuten würde, dass der Kandidat mit einer der Referenzübersetzungen identisch ist. Aus diesem Grund ist es nicht notwendig, eine Punktzahl von 1 zu erreichen. Da es mehr Übereinstimmungsmöglichkeiten gibt, erhöht das Hinzufügen zusätzlicher Referenzübersetzungen die BLEU-Punktzahl.
Historischer Kontext
BLEU wurde von Forschern bei IBM entwickelt, darunter Kishore Papineni, Salim Roukos, Todd Ward und Wei-Jing Zhu, die die Metrik in einem Artikel von 2002 mit dem Titel „BLEU: a Method for Automatic Evaluation of Machine Translation“ veröffentlichten. Die Arbeit entstand aus dem wachsenden Bedarf an automatisierter Bewertung im Bereich des Machine learning und der Artificial intelligence, insbesondere als maschinelle Übersetzungssysteme immer ausgefeilter wurden. Vor BLEU stützte sich die Bewertung maschineller Übersetzungen typischerweise auf menschliche Gutachter, was teuer, zeitaufwendig und über verschiedene Studien hinweg schwer zu reproduzieren war. BLEU bot eine kostengünstige, schnelle und sprachunabhängige Alternative, die konsistent auf jedes Übersetzungssystem angewendet werden konnte.
Die Metrik wurde in einer Zeit eingeführt, in der statistische maschinelle Übersetzung an Bedeutung gewann, und sie wurde schnell zu einem Standard-Benchmark in diesem Bereich. Ihre Entwicklung war eng mit der Forschungsabteilung von IBM verbunden, die seit den 1980er Jahren ein wichtiger Akteur in der Verarbeitung natürlicher Sprache war. Der Name „bilingual evaluation understudy“ spiegelt ihre Rolle als Stellvertreter für die menschliche Bewertung wider, ähnlich wie ein Ersatzschauspieler, der für einen Hauptdarsteller einspringt.
Mathematische Definition
Grundlegender Aufbau
Ein grundlegender, erster Versuch, die BLEU-Punktzahl zu definieren, würde zwei Argumente annehmen: eine Kandidatenzeichenfolge und eine Liste von Referenzzeichenfolgen. Die Idee ist, dass die BLEU-Punktzahl nahe 1 sein sollte, wenn der Kandidat den Referenzen ähnlich ist, und nahe 0, wenn nicht. Als Analogie ist die BLEU-Punktzahl wie ein Sprachlehrer, der versucht, die Qualität einer Schülerübersetzung zu bewerten, indem er prüft, wie genau sie den Referenzantworten folgt.
Da man in der Verarbeitung natürlicher Sprache eine große Menge von Kandidatenzeichenfolgen bewerten sollte, muss man die BLEU-Punktzahl auf den Fall verallgemeinern, in dem man eine Liste von M Kandidatenzeichenfolgen (ein „Korpus“ genannt) hat und für jede Kandidatenzeichenfolge eine Liste von Referenzkandidatenzeichenfolgen. Für jede Zeichenfolge und jede ganze Zahl n ≥ 1 ist die Menge ihrer n-Gramme als die Menge der eindeutigen zusammenhängenden Sequenzen von n Wörtern definiert. Zum Beispiel wären die 2-Gramme der Zeichenfolge „the cat sat“ {„the cat“, „cat sat“}.
Präzision und modifizierte Präzision
Der Kern von BLEU ist eine modifizierte Form der Präzision. Die Standardpräzision würde die Anzahl der n-Gramme im Kandidaten zählen, die in einer beliebigen Referenz vorkommen, geteilt durch die Gesamtzahl der n-Gramme im Kandidaten. Dies kann jedoch durch die Wiederholung häufiger Wörter aufgebläht werden. BLEU verwendet eine beschnittene Präzision: Für jedes n-Gramm im Kandidaten wird seine Anzahl auf die maximale Anzahl begrenzt, mit der es in einer einzelnen Referenz vorkommt. Dies verhindert eine Überzählung und stellt sicher, dass die Punktzahl eine echte Übereinstimmung widerspiegelt.
Für jede n-Gramm-Ordnung n (typischerweise 1 bis 4) wird die modifizierte Präzision als die Summe der beschnittenen Zählungen über alle Kandidatensätze, geteilt durch die Summe der gesamten n-Gramm-Zählungen in allen Kandidaten, berechnet. Dies wird oft als p_n bezeichnet.
Kürzungsstrafe
Eine kritische Komponente von BLEU ist die Kürzungsstrafe, die das Problem kurzer Übersetzungen angeht. Ein System könnte eine hohe Präzision erreichen, indem es nur wenige Wörter ausgibt, die zufällig mit Referenzen übereinstimmen, aber eine solche Übersetzung wäre unvollständig. Die Kürzungsstrafe wird basierend auf dem Verhältnis der Gesamtlänge des Kandidatenkorpus zur Gesamtlänge des Referenzkorpus berechnet. Wenn der Kandidat kürzer als die Referenz ist, reduziert die Strafe die Punktzahl; wenn er länger ist, wird keine Strafe angewendet. Die Formel lautet: BP = 1, wenn c > r, und BP = exp(1 - r/c), wenn c ≤ r, wobei c die Kandidatenlänge und r die effektive Referenzlänge ist (die Summe der Referenzlängen, die der Länge jedes Kandidaten am nächsten kommen).
Endgültige Punktzahl
Die endgültige BLEU-Punktzahl ist das Produkt der Kürzungsstrafe und des geometrischen Mittels der modifizierten Präzisionen für n-Gramme der Ordnungen 1 bis N (normalerweise N=4). Das geometrische Mittel ist gleich gewichtet, und das Ergebnis ist ein Wert zwischen 0 und 1. In der Praxis werden Punktzahlen oft als Prozentsätze angegeben (z. B. bedeutet BLEU 30 0,30). Die Formel lautet: BLEU = BP exp(Σ_{n=1}^{N} (1/N) log p_n).
Anwendungen in der maschinellen Übersetzung
BLEU wurde ursprünglich für die Bewertung maschineller Übersetzungssysteme entwickelt und bleibt eine Standardmetrik in diesem Bereich. Forschungsgruppen und Unternehmen, die Übersetzungssysteme entwickeln, von frühen statistischen Modellen bis zu modernen Ansätzen auf Basis von Neural network, haben BLEU verwendet, um ihre Ausgaben mit Referenzübersetzungen zu vergleichen. Zum Beispiel haben Systeme von Google DeepMind und anderen Organisationen BLEU-Punktzahlen in akademischen Arbeiten berichtet, um Verbesserungen gegenüber Baselines zu demonstrieren.
Die Metrik ist besonders nützlich für schnelle Iterationen während der Entwicklung. Entwickler können BLEU nach jeder Änderung an einem Modell auf einem Testsatz ausführen, sodass sie Fortschritte verfolgen können, ohne menschliche Annotatoren zu benötigen. Dies hat BLEU zu einem De-facto-Standard in diesem Bereich gemacht, trotz seiner bekannten Einschränkungen.
Verwendung in der Textgenerierung und bei großen Sprachmodellen
Über die maschinelle Übersetzung hinaus wurde BLEU für die Bewertung anderer Textgenerierungsaufgaben angepasst, darunter Zusammenfassung, Dialogsysteme und Bildunterschriften. Mit dem Aufstieg von Large language models wie denen von OpenAI und Anthropic wurde BLEU als eine von mehreren automatisierten Metriken zur Bewertung der Ausgabequalität verwendet. Seine Anwendbarkeit auf offene Generierung ist jedoch umstritten, da BLEU eine exakte n-Gramm-Übereinstimmung mit Referenzen belohnt, die möglicherweise keine semantische Äquivalenz erfasst.
Bei Aufgaben wie der Zusammenfassung wird BLEU oft zusammen mit anderen Metriken wie ROUGE verwendet. Bei Dialogsystemen kann BLEU irreführend sein, da es viele gültige Antworten auf eine gegebene Aufforderung gibt und eine einzelne Referenz möglicherweise nicht alle Möglichkeiten darstellt. Trotz dieser Probleme bleibt BLEU eine schnelle und kostengünstige Möglichkeit, eine grobe Schätzung der Qualität zu erhalten, und es wird in Forschungsarbeiten oft als Basismetrik berichtet.
Einschränkungen und Kritik
BLEU hat mehrere gut dokumentierte Einschränkungen. Erstens berücksichtigt es keine Verständlichkeit oder grammatikalische Korrektheit; eine Übersetzung könnte hoch punkten, wenn sie viele n-Gramme mit Referenzen teilt, aber dennoch ungrammatisch ist. Zweitens ist es empfindlich gegenüber der Wahl der Referenzen; verschiedene Referenzsätze können sehr unterschiedliche Punktzahlen für denselben Kandidaten ergeben. Drittens neigt BLEU dazu, Übersetzungen zu bevorzugen, die lexikalisch den Referenzen ähnlich sind, was gültige Übersetzungen bestrafen kann, die eine andere Wortwahl oder Satzstruktur verwenden.
Eine weitere Kritik ist, dass BLEU Synonyme oder Paraphrasen nicht gut behandelt. Wenn zum Beispiel eine Referenz „the cat sat on the mat“ sagt und ein Kandidat „the feline rested on the rug“ sagt, wäre die BLEU-Punktzahl trotz der semantischen Äquivalenz niedrig. Dies hat zur Entwicklung alternativer Metriken wie METEOR und ROUGE geführt, die Stammbildung und Synonymabgleich einbeziehen. Im Kontext von Generative AI haben Forscher auch festgestellt, dass BLEU für kreative oder offene Ausgaben schlecht mit menschlichen Urteilen korreliert.
Beziehung zu anderen Metriken
BLEU ist Teil einer breiteren Familie automatisierter Bewertungsmetriken in der Verarbeitung natürlicher Sprache. Es ist präzisionsorientiert und konzentriert sich darauf, wie viel des Inhalts des Kandidaten in Referenzen erscheint. Im Gegensatz dazu ist ROUGE recall-orientiert und misst, wie viel des Referenzinhalts vom Kandidaten erfasst wird. METEOR kombiniert Präzision und Recall mit Synonymabgleich und einer Strafe für Wortreihenfolgeunterschiede. Diese Metriken werden oft zusammen verwendet, um eine umfassendere Bewertung zu ermöglichen.
Im Kontext von Transformer (architecture)-basierten Modellen und Deep learning-Systemen wurde BLEU in einigen Reinforcement-Learning-Setups als Trainingsziel verwendet, obwohl dies weniger üblich ist als die reine Verwendung zur Bewertung. Die Einfachheit und rechnerische Effizienz der Metrik machen sie attraktiv für groß angelegte Benchmarks, wie sie in gemeinsamen Aufgaben akademischer Konferenzen organisiert werden.
Praktische Überlegungen
Bei der Verwendung von BLEU beeinflussen mehrere praktische Faktoren die Punktzahl. Die Anzahl der Referenzübersetzungen ist wichtig: Das Hinzufügen weiterer Referenzen erhöht im Allgemeinen die Punktzahl, da es mehr Möglichkeiten für n-Gramm-Übereinstimmungen gibt. Die Tokenisierungsmethode beeinflusst ebenfalls die Ergebnisse; zum Beispiel kann die Entfernung von Interpunktion oder die Normalisierung der Groß-/Kleinschreibung die n-Gramm-Zählungen verändern. Verschiedene Implementierungen können für dieselben Daten leicht unterschiedliche Punktzahlen erzeugen, daher ist es wichtig, die genauen verwendeten Einstellungen zu berichten.
BLEU-Punktzahlen sind nicht über verschiedene Korpora oder Sprachen hinweg vergleichbar. Eine Punktzahl von 0,40 auf einem Testsatz kann ausgezeichnet sein, während sie auf einem anderen mittelmäßig sein kann. Daher wird BLEU am besten für relative Vergleiche zwischen Systemen auf denselben Daten verwendet, und nicht als absolutes Qualitätsmaß. Forscher berichten BLEU oft zusammen mit menschlicher Bewertung, um Ergebnisse zu validieren.
Zukünftige Richtungen
Während sich Artificial intelligence und Machine learning weiterentwickeln, wird die Rolle von BLEU neu bewertet. Neuere Metriken wie BERTScore und COMET verwenden Einbettungen aus vortrainierten Modellen, um semantische Ähnlichkeit effektiver zu erfassen. Diese Metriken korrelieren oft besser mit menschlichen Urteilen, sind aber rechnerisch aufwendiger. BLEU bleibt jedoch aufgrund seiner Einfachheit und Interpretierbarkeit eine nützliche Baseline.
Im Zeitalter der Large language models konzentriert sich die Bewertung zunehmend auf Aufgaben wie Anweisungsbefolgung und faktische Genauigkeit, bei denen BLEU weniger relevant ist. Dennoch hat BLEUs Vermächtnis als eine der ersten automatisierten Bewertungsmetriken die Herangehensweise des Feldes an die Qualitätsbewertung geprägt. Seine Prinzipien - der Vergleich von Maschinenausgaben mit menschlichen Referenzen - fließen weiterhin in die Gestaltung neuer Metriken ein.