METEOR (Metric for Evaluation of Translation with Explicit ORdering) ist eine Metrik zur Bewertung der Qualität maschineller Übersetzungsausgaben. Sie berechnet einen Score auf Basis des harmonischen Mittels aus Unigramm-Präzision und -Recall, wobei der Recall stärker gewichtet wird als die Präzision, und integriert neben dem exakten Wortabgleich auch Stemming und Synonymabgleich. Die Metrik wurde entwickelt, um die Einschränkungen der BLEU-Metrik zu adressieren und eine stärkere Korrelation mit menschlichem Urteil auf Satz- oder Segmentebene zu erzielen, während BLEU auf Korrelation auf Korpuseebene abzielt.
Die Metrik wurde auf dem Workshop on Intrinsic and Extrinsic Evaluation Measures for Machine Translation and Summarization vorgestellt, der im Juni 2005 im Rahmen der 43. Jahrestagung der Association for Computational Linguistics in Ann Arbor, Michigan, stattfand. Die berichteten Ergebnisse zeigten eine Korrelation mit menschlichem Urteil von bis zu 0,964 auf Korpuseebene, verglichen mit 0,817 für BLEU auf denselben Datensätzen. Auf Satzebene lag die maximale berichtete Korrelation bei 0,403. Der Name der Metrik ist ein rekursives Akronym für Metric for Evaluation of Translation with Explicit ORdering.
Motivation und Design
METEOR wurde teilweise als Reaktion auf die Einschränkungen der früheren BLEU-Metrik entwickelt, die zum Standard für die Bewertung maschineller Übersetzung geworden war. BLEU operiert hauptsächlich auf Korpuseebene und stützt sich auf exakten Wortabgleich mit begrenzter N-Gramm-Präzision. Sie zeigte eine schwache Korrelation mit menschlichem Urteil, wenn sie auf einzelne Sätze angewendet wurde. METEOR adressierte diese Schwächen, indem sie den Recall stärker gewichtete als die Präzision (ein Verhältnis von 9 zu 1 im harmonischen Mittel), linguistische Ressourcen für den Abgleich über exakte Oberflächenformen hinaus integrierte und Scores erzeugte, die auf Segmentebene sinnvoll vergleichbar waren.
Das Bewertungsverfahren beginnt mit einem Ausrichtungsschritt. Der Algorithmus erstellt Zuordnungen zwischen Unigrammen in der Kandidatenübersetzung und Unigrammen in einer Referenzübersetzung. Jedes Unigramm im Kandidaten kann höchstens einem Unigramm in der Referenz zugeordnet werden. Wenn mehrere Ausrichtungen mit derselben Anzahl von Zuordnungen möglich sind, bevorzugt der Algorithmus die Ausrichtung mit weniger Kreuzungen zwischen den Zuordnungslinien, was monotone, zusammenhängende Übereinstimmungen begünstigt.
Abgleichstufen
METEOR wendet den Abgleich in mehreren Stufen an. Die erste Stufe verwendet exakten Wortabgleich. Nachfolgende Stufen fügen Übereinstimmungen basierend auf Stemming und Synonymie hinzu und greifen dabei auf Ressourcen wie WordNet für Englisch zurück. Jede Stufe fügt nur Unigramme hinzu, die nicht bereits in früheren Stufen abgeglichen wurden. Dieser gestufte Ansatz ermöglicht es der Metrik, semantisch äquivalente, aber lexikalisch unterschiedliche Ausdrücke zu berücksichtigen, eine Fähigkeit, die früheren Metriken fehlte.
Nach der Ausrichtung werden Präzision und Recall aus der Anzahl der abgeglichenen Unigramme berechnet. Der Recall wird im endgültigen F-Mittel-Score stärker gewichtet als die Präzision, unter Verwendung der Formel 10PR/(R+9P). Diese Gewichtung spiegelt Erkenntnisse wider, dass Recall stärker mit menschlichem Urteil über Übersetzungsqualität korreliert. Der endgültige Score wird durch eine Fragmentierungsstrafe angepasst, die aus der Anzahl der Blöcke abgeglichener Unigramme abgeleitet wird; längere zusammenhängende Übereinstimmungen erzeugen weniger Blöcke und eine geringere Strafe.
Algorithmus-Überblick
Der Algorithmus operiert auf einem Satzpaar: einer Kandidatenübersetzung und einer Referenzübersetzung. Er konstruiert eine Ausrichtung, indem er Unigramme unter Einschränkungen zuordnet und Ausrichtungen mit weniger Kreuzungen bevorzugt. Der Abgleich erfolgt in Stufen, wobei jede Stufe Übereinstimmungen basierend auf exakten Wortformen, dann Stämmen, dann Synonymen hinzufügt. Nach der Ausrichtung ist die Unigramm-Präzision die Anzahl der abgeglichenen Unigramme geteilt durch die Gesamtzahl der Unigramme im Kandidaten, während der Recall durch die Gesamtzahl der Unigramme in der Referenz teilt. Diese werden als harmonisches Mittel kombiniert, wobei der Recall neunmal stärker gewichtet wird als die Präzision. Anschließend wird eine Strafe angewendet, die darauf basiert, wie fragmentiert die abgeglichenen Unigramme in zusammenhängende Blöcke sind; Übersetzungen mit vielen nicht benachbarten Übereinstimmungen erhalten eine höhere Strafe, die den endgültigen Score um bis zu 50 Prozent reduziert.
Für ein Korpus werden aggregierte Präzisions-, Recall- und Strafenwerte über alle Segmente berechnet. Wenn mehrere Referenzübersetzungen verfügbar sind, wird der Kandidat gegen jede bewertet und der höchste Score beibehalten.
Vergleich mit BLEU
BLEU, früher eingeführt, misst die N-Gramm-Überlappung mit einer Kürzungsstrafe und wird in der Forschung zu maschineller Übersetzung häufig verwendet. Sie stützt sich jedoch auf exakten Wortabgleich und berücksichtigt keine Synonyme oder morphologischen Varianten. METEOR wurde entwickelt, um diese Probleme durch Stemming und Synonymzuordnung zu überwinden und den Recall stärker zu gewichten. Berichtete Experimente zeigten, dass METEOR eine Korrelation mit menschlichem Urteil von bis zu 0,964 auf Korpuseebene erreichte, während BLEU auf denselben Daten 0,817 erreichte. Auf Segmentebene zeigte METEOR eine maximale Korrelation von 0,403, was Befürworter als besser geeignet für die Bewertung einzelner Sätze argumentierten.
Algorithmus-Details
Der Ausrichtungsprozess in METEOR ordnet Unigramme aus der Kandidatenübersetzung Unigrammen in der Referenz zu, wobei jedes Kandidaten-Unigramm höchstens einem Referenz-Unigramm zugeordnet wird. Der Algorithmus wählt die Ausrichtung mit der größten Anzahl von Zuordnungen; wenn zwei Ausrichtungen dieselbe Anzahl von Zuordnungen haben, wählt er diejenige mit weniger Kreuzungslinien zwischen abgeglichenen Unigrammen. Der Abgleich erfolgt in Stufen: zuerst exakte Wortübereinstimmungen, dann Stammübereinstimmungen (unter Verwendung eines Stemming-Tools), dann Synonymübereinstimmungen. Jede Stufe fügt nur Zuordnungen für Unigramme hinzu, die nicht bereits in früheren Stufen abgeglichen wurden.
Nachdem die endgültige Ausrichtung berechnet ist, werden Präzision P und Recall R berechnet. Das harmonische Mittel Fmean ist definiert als 10PR/(R+9P), was dem Recall das neunfache Gewicht der Präzision verleiht. Um Flüssigkeit und Wortreihenfolge zu berücksichtigen, gruppiert der Algorithmus abgeglichene Unigramme in die geringstmögliche Anzahl von Blöcken, wobei ein Block eine Menge von Unigrammen ist, die sowohl im Kandidaten als auch in der Referenz benachbart sind. Die Strafe p wird als 0,5 × (c/um)^3 berechnet, wobei c die Anzahl der Blöcke und um die Anzahl der zugeordneten Unigramme ist. Der endgültige Segment-Score ist Fmean multipliziert mit (1 - p).
Anwendungen und Erweiterungen
METEOR wurde in Evaluierungskampagnen für maschinelle Übersetzung eingesetzt, insbesondere in gemeinsamen Aufgaben und Systemvergleichen, bei denen Zuverlässigkeit auf Satzebene wichtig ist. Da sie auf Segmentebene angewendet werden kann, ist sie nützlich für das Tuning und die Analyse von Übersetzungsausgaben auf eine Weise, die Korpus-Metriken nicht leicht unterstützen können. Im Laufe der Zeit sind Varianten und Erweiterungen erschienen, darunter Versionen, die auf verschiedene Sprachpaare und auf die Bewertung von Zusammenfassungen zugeschnitten sind. Die Metrik hat auch nachfolgende Bewertungsansätze in verwandten Bereichen wie der Bildunterschriftung beeinflusst, wo Synonymabgleich und N-Gramm-Überlappung nützlich waren.
Einschränkungen
Die Metrik stützt sich weiterhin auf Referenzübersetzungen und erfasst keine Aspekte der Übersetzungsqualität wie Flüssigkeit über das hinaus, was durch lexikalische Überlappung impliziert wird. Ihre Abhängigkeit von vordefinierten Synonymressourcen kann die Leistung für domänenspezifische Terminologie oder Sprachen ohne solche Ressourcen einschränken. Während die Korrelation mit menschlichem Urteil auf Korpuseebene in ersten Experimenten als hoch berichtet wurde, blieb die Korrelation auf Satzebene moderat, was die inhärente Schwierigkeit der automatisierten Bewertung auf Segmentebene widerspiegelt. Spätere Varianten und alternative Metriken haben auf diesen Ideen weiter aufgebaut.