BLEU (bilingual evaluation understudy) ist ein Algorithmus zur Bewertung der Qualität von Texten, die maschinell von einer natürlichen Sprache in eine andere übersetzt wurden. Die Metrik basiert auf dem Prinzip, dass eine maschinelle Übersetzung umso besser ist, je näher sie an einer professionellen menschlichen Übersetzung liegt. BLEU wurde 2001 bei IBM entwickelt und gehörte zu den ersten automatisierten Metriken, die eine hohe Korrelation mit menschlichen Urteilen über die Übersetzungsqualität zeigten. Sie behält ihre Beliebtheit aufgrund ihrer geringen Kosten und ihrer Geschwindigkeit.
BLEU-Werte werden für einzelne übersetzte Segmente - in der Regel Sätze - berechnet, indem sie mit einer Reihe hochwertiger Referenzübersetzungen verglichen werden. Diese Segmentwerte werden dann über das gesamte Korpus gemittelt, um die Gesamtqualität der Übersetzung abzuschätzen. Die Metrik berücksichtigt weder Verständlichkeit noch grammatikalische Korrektheit direkt. Ihre Ausgabe ist immer eine Zahl zwischen 0 und 1, wobei Werte näher an 1 eine größere Ähnlichkeit mit den Referenzübersetzungen anzeigen. Nur wenige menschliche Übersetzungen erreichen eine perfekte 1,0, da dies eine exakte Übereinstimmung mit einer Referenz erfordern würde, und das Hinzufügen weiterer Referenzübersetzungen erhöht die Wahrscheinlichkeit von Übereinstimmungen und damit die Punktzahl.
Mathematische Definition
Der BLEU-Score vergleicht eine Kandidatenzeichenfolge ŷ mit einer Liste von Referenzzeichenfolgen (y^(1), ..., y^(N)). Der Score nähert sich 1 an, wenn der Kandidat den Referenzen stark ähnelt, und 0, wenn dies nicht der Fall ist. Eine nützliche Analogie ist die eines Sprachlehrers, der die Übersetzung eines Schülers bewertet, indem er sie mit Referenzantworten vergleicht.
Für ein Korpus von M Kandidatenzeichenfolgen, jeweils mit einem eigenen Satz von Referenzübersetzungen, berechnet BLEU einen modifizierten Präzisionswert auf der Grundlage von n-Grammen. Ein n-Gramm ist eine zusammenhängende Sequenz von n Wörtern aus einem Text. Die Metrik zählt, wie viele n-Gramme in der Kandidatenübersetzung in einer der Referenzübersetzungen vorkommen, begrenzt die Zählung jedoch, um eine Überzählung wiederholter n-Gramme zu vermeiden.
Modifizierte Präzision
Die modifizierte Präzision für n-Gramme (typischerweise n = 1 bis 4) wird berechnet, indem die Anzahl der Kandidaten-n-Gramme, die mit einem Referenz-n-Gramm übereinstimmen, durch die Gesamtzahl der Kandidaten-n-Gramme geteilt wird. Die Kürzungsstrafe behebt die Tendenz kürzerer Übersetzungen, künstlich hohe Präzisionswerte zu erzielen. Sie bestraft Kandidaten, die kürzer als ihre Referenzen sind.
Der endgültige BLEU-Score ist das geometrische Mittel der n-Gramm-Präzisionen multipliziert mit der Kürzungsstrafe. Übliche Praxis verwendet eine einheitliche Gewichtung über n-Gramme der Ordnungen 1 bis 4.
== Geschichte ==
Kishore Papineni, Salim Roukos, Todd Ward und Wei-Jing Zhu entwickelten BLEU während ihrer Arbeit am Thomas J. Watson Research Center von IBM. Sie veröffentlichten es 2002 auf der Jahrestagung der Association for Computational Linguistics (ACL). Die Metrik entstand als eine der ersten automatisierten Bewertungsmethoden mit behaupteter hoher Korrelation zu menschlichen Urteilen über die Übersetzungsqualität. Ihre Einführung adressierte den Bedarf an einer schnellen, kostengünstigen Alternative zur menschlichen Bewertung, die teuer und langsam war. BLEU wurde schnell zu einem Standard-Benchmark in der Machine learning- und Natural-Language-Processing-Forschung und fand breite Anwendung in akademischen Arbeiten und industriellen Bewertungen.
Mathematische Grundlage
BLEU-Werte werden pro Segment, typischerweise einem Satz, berechnet, indem die Kandidatenübersetzung mit einer oder mehreren Referenzübersetzungen verglichen wird. Der Algorithmus berechnet eine modifizierte n-Gramm-Präzision: Er zählt die Anzahl der n-Gramme (zusammenhängende Sequenzen von n Wörtern) im Kandidaten, die in einer Referenzübersetzung vorkommen, mit einem Begrenzungsmechanismus, der eine Überzählung verhindert, wenn ein Kandidat ein n-Gramm häufiger wiederholt, als es in einer Referenz vorkommt. Diese Präzision wird für eine Reihe von n-Gramm-Längen berechnet, üblicherweise 1 bis 4.
Eine Kürzungsstrafe wird auf den Score angewendet, um Kandidaten zu verhindern, die im Verhältnis zu den Referenzen zu kurz sind, da kurze Ausgaben sonst eine hohe Präzision erreichen könnten, indem sie nur Wörter enthalten, die übereinstimmen. Die Kürzungsstrafe wird aus dem Verhältnis der Kandidatenlänge zur effektiven Referenzlänge berechnet, wodurch unvollständige Übersetzungen bestraft werden. Der endgültige BLEU-Score ist ein geometrisches Mittel der modifizierten n-Gramm-Präzisionen multipliziert mit diesem Kürzungsstrafenfaktor.
Die Ausgabe liegt immer zwischen 0 und 1 und behält ihre Beliebtheit aufgrund der geringen Kosten und der Geschwindigkeit der Berechnung. Nur wenige menschliche Übersetzungen erreichen einen perfekten Score von 1, da dies anzeigen würde, dass der Kandidat identisch mit einer der Referenzübersetzungen ist. Da es mehr Möglichkeiten für n-Gramm-Übereinstimmungen gibt, erhöht die Einbeziehung weiterer Referenzübersetzungen im Allgemeinen den BLEU-Score.
Geschichte und Entwicklung
BLEU wurde 2001 von Forschern bei IBM eingeführt, darunter Kishore Papineni, Salim Roukos, Todd Ward und Wei-Jing Zhu. Die Metrik wurde entwickelt, um den Bedarf an einer kostengünstigen, sprachunabhängigen Bewertungsmethode für maschinelle Übersetzungen zu decken und die teure und langsame menschliche Bewertung zu ersetzen. Der Name, bilingual evaluation understudy, spiegelt ihre Rolle als Stellvertreter für menschliche Gutachter wider.
Die Einführung der Metrik fiel mit dem wachsenden Interesse an statistischer maschineller Übersetzung zusammen, wo eine schnelle Iteration eine automatisierte Möglichkeit zum Vergleich von Systemausgaben erforderte. BLEUs Einfachheit und starke Korrelation mit menschlichen Urteilen machten sie für Jahre zu einem Standard-Benchmark in diesem Bereich.
N-Gramm-Präzision und Kürzungsstrafe
BLEU berechnet die Präzision für n-Gramme unterschiedlicher Längen, typischerweise von 1 bis 4. Die modifizierte Präzision für jede n-Gramm-Ordnung zählt die maximale Anzahl, wie oft ein n-Gramm in einer einzelnen Referenz vorkommt, und begrenzt die Kandidatenzahl auf dieses Maximum. Dies verhindert, dass übermäßig lange oder repetitive Übersetzungen den Score ausnutzen.
Eine Kürzungsstrafe wird auf Kandidatenübersetzungen angewendet, die kürzer als ihre Referenzgegenstücke sind. Wenn der Kandidat länger als die Referenz ist, beträgt die Strafe 1; andernfalls nimmt sie exponentiell mit dem Längenverhältnis ab. Diese Strafe verhindert unvollständige Übersetzungen, die sonst eine hohe Präzision erreichen könnten.
Geometrisches Mittel und Score-Bereich
Der endgültige BLEU-Score kombiniert die modifizierten Präzisionen über n-Gramm-Ordnungen hinweg mit einem geometrischen Mittel, typischerweise für n = 1 bis 4. Die Kürzungsstrafe multipliziert dieses Mittel. BLEU-Werte liegen typischerweise zwischen 0 und 1, werden jedoch oft als Prozentsätze auf einer Skala von 0 bis 100 angegeben. Werte über 0,4 gelten allgemein als hochwertige Übersetzungen, aber die Skala ist nicht absolut und hängt stark vom Sprachpaar und der Domäne ab.
Anwendungen und Einschränkungen
BLEU bleibt eine der am weitesten verbreiteten Metriken in der Forschung zur maschinellen Übersetzung. Sie wurde zur Bewertung von Systemen in akademischen Arbeiten, industriellen Benchmarks und gemeinsamen Aufgaben eingesetzt. Die Metrik wird auch in Bereichen jenseits der Übersetzung verwendet, wie Textzusammenfassung und Bildbeschriftung, wo Referenztexte als Ground Truth dienen.
Kritiker stellen fest, dass BLEU Verständlichkeit oder grammatikalische Korrektheit nicht direkt misst. Ein Kandidat, der fließend ist, sich aber semantisch von der Referenz unterscheidet, kann niedrig punkten, während einer, der unbeholfen ist, aber n-Gramme teilt, höher punkten kann. Der n-Gramm-Abgleich der Metrik ist rein lexikalisch spiegelnd, sodass Paraphrasierung und Synonymie bestraft werden, selbst wenn die Bedeutung erhalten bleibt. Die Korrelation mit menschlichen Urteilen ist auf Korpuseebene stark, aber für einzelne Sätze schwächer.
Anwendungen und Einschränkungen
BLEU bleibt eine der beliebtesten automatisierten Metriken in der Machine learning-Forschung und bei der Entwicklung von Übersetzungssystemen auf Basis von Large language models. Sie wird häufig verwendet, um Modelliterationen in der Artificial intelligence-Entwicklung zu vergleichen und Hyperparameter in Neural network-Modellen abzustimmen. Ihre geringen Rechenkosten machen sie für groß angelegte Bewertungen während Trainings- und Entwicklungszyklen geeignet.
Zu den Einschränkungen gehören die Empfindlichkeit gegenüber der Qualität der Referenzübersetzungen, die Nichtberücksichtigung semantischer Äquivalenz und die Notwendigkeit mehrerer Referenzen für zuverlässige Werte. BLEU tendiert auch dazu, Übersetzungen zu bevorzugen, die die Referenzformulierung stark widerspiegeln, und kann gültige alternative Übersetzungen bestrafen. Nachfolgende Metriken wie METEOR und ROUGE haben versucht, einige dieser Mängel zu beheben, obwohl BLEU eine weit zitierte Basislinie in der Machine learning-Forschung bleibt.
Anwendungen und Einfluss
BLEU wird im gesamten Bereich des natural language processing verwendet, insbesondere beim Training und der Bewertung von Übersetzungssystemen, die mit Deep learning-Ansätzen wie Transformer (architecture)-basierten Modellen entwickelt wurden. Sie wurde auch für andere Generierungsaufgaben adaptiert, einschließlich Textzusammenfassung und Bildbeschriftung, trotz ihres ursprünglichen Designs für die Übersetzung. Der Einfluss der Metrik reicht über die Wissenschaft hinaus; große KI-Labore und Unternehmen, darunter OpenAI, Google DeepMind und Anthropic, haben BLEU oder ihre Varianten beim Benchmarking generativer Modelle verwendet.
Standardimplementierungen, wie die in der NLTK-Bibliothek (Natural Language Toolkit), bieten einfach zu verwendende Funktionen zur Berechnung von BLEU-Werten. Diese Zugänglichkeit hat ihre Rolle als Standardmetrik in Bewertungen der natürlichen Sprachverarbeitung gefestigt. Forscher haben jedoch festgestellt, dass BLEU semantische Äquivalenz nicht gut erfasst; zwei Übersetzungen mit identischer Bedeutung, aber unterschiedlicher Wortwahl können niedrige Werte erhalten, obwohl sie von hoher Qualität sind. Diese Einschränkung hat zur Entwicklung von Alternativen geführt, aber BLEU bleibt eine grundlegende Basislinie in der Bewertung maschineller Übersetzungen.
Einschränkungen und Kritik
BLEU hat mehrere bekannte Einschränkungen. Sie ignoriert grammatikalische Korrektheit und berücksichtigt die Wortreihenfolge nicht explizit über den n-Gramm-Abgleich hinaus. Sie erkennt auch keine Synonyme oder Paraphrasen, die nicht mit der Referenzformulierung übereinstimmen. Diese Schwächen können zu Fällen führen, in denen eine Übersetzung korrekt ist, aber schlecht bewertet wird, oder in denen eine fehlerhafte Übersetzung mit hoher lexikalischer Überlappung gut bewertet wird.
Darüber hinaus sind BLEU-Werte empfindlich gegenüber der Anzahl und Qualität der Referenzübersetzungen. Systeme können für BLEU optimieren, indem sie gebräuchliche Phrasen bevorzugen, manchmal auf Kosten von Flüssigkeit oder Angemessenheit. Trotz dieser Probleme korreliert BLEU auf Korpuseebene einigermaßen mit menschlichen Urteilen und bleibt für schnelle Systemvergleiche weit verbreitet, obwohl neuere Metriken sie in Forschungsumgebungen zunehmend ergänzen oder ersetzen.
Anwendungen und Einschränkungen
BLEUs Hauptanwendung liegt in der Bewertung maschineller Übersetzungssysteme, von frühen statistischen phrasenbasierten Modellen bis zu modernen Neural network- und Transformer (architecture)-basierten Ansätzen. Sie wurde auch für Aufgaben wie Textzusammenfassung und Bildbeschriftung adaptiert. Ihre geringen Rechenkosten machen sie ideal für die iterative Entwicklung, bei der Tausende von Übersetzungen während Deep learning-Trainingsschleifen schnell bewertet werden müssen.
BLEU hat jedoch bekannte Einschränkungen. Sie erfasst keine semantische Äquivalenz, sodass Paraphrasen mit unterschiedlicher Wortwahl schlecht abschneiden können. Sie hat auch Schwierigkeiten mit morphologisch reichen Sprachen und berücksichtigt die Wortreihenfolge nicht über die n-Gramm-Nachbarschaft hinaus. Diese Mängel haben die Entwicklung alternativer Metriken vorangetrieben, obwohl BLEU eine Basislinienreferenz in den meisten large language model- und Neural network-Übersetzungsforschungen bleibt.
Anwendungen und Einschränkungen
BLEU wird in der akademischen Forschung und Industrie häufig verwendet, um Übersetzungssysteme zu vergleichen, einschließlich solcher, die auf Transformer (architecture)-Architekturen und large language models basieren. Sie dient als schneller Regressionscheck während der Modellentwicklung und ergänzt die menschliche Bewertung. BLEU hat jedoch bekannte Einschränkungen: Sie korreliert unvollkommen mit menschlichen Urteilen, insbesondere bei morphologisch reichen Sprachen oder wenn Paraphrasen gültig sind. Sie belohnt auch lexikalische Überlappung gegenüber semantischer Äquivalenz, eine Lücke, die spätere Metriken wie METEOR und ROUGE zu schließen versuchten, obwohl BLEU die am häufigsten zitierte bleibt.
Trotz dieser Nachteile haben BLEUs Einfachheit und Reproduzierbarkeit ihre fortgesetzte Verwendung in der Forschung zur maschinellen Übersetzung und in verwandten Aufgaben sichergestellt. Ihre Rolle in diesem Bereich ist grundlegend und beeinflusst das Design von Bewertungsprotokollen für Neural network-basierte Übersetzungssysteme und darüber hinaus.