METEOR (Metric for Evaluation of Translation with Explicit ORdering) est une métrique permettant d'évaluer la qualité de la traduction automatique. Elle calcule un score basé sur la moyenne harmonique de la précision et du rappel au niveau des unigrammes, avec un poids plus important accordé au rappel qu'à la précision. Elle intègre également la correspondance par lemmatisation et synonymie, en plus de la correspondance exacte des mots. Cette métrique a été développée pour pallier les limites de la métrique BLEU et pour obtenir une corrélation plus forte avec le jugement humain au niveau des phrases ou des segments, tandis que BLEU vise une corrélation au niveau des corpus.
La métrique a été présentée lors de l'atelier sur les mesures d'évaluation intrinsèques et extrinsèques pour la traduction automatique et le résumé automatique, qui s'est tenu lors de la 43e réunion annuelle de l'Association for Computational Linguistics à Ann Arbor, dans le Michigan, en juin 2005. Les résultats rapportés montrent une corrélation avec le jugement humain allant jusqu'à 0,964 au niveau du corpus, contre 0,817 pour BLEU sur les mêmes ensembles de données. Au niveau des phrases, la corrélation maximale rapportée était de 0,403. Le nom de la métrique est un acronyme récursif signifiant Metric for Evaluation of Translation with Explicit ORdering.
Motivation et conception
METEOR a été développée en partie en réponse aux limites de la métrique BLEU, qui était devenue une référence standard pour l'évaluation de la traduction automatique. BLEU fonctionne principalement au niveau du corpus et repose sur la correspondance exacte des mots avec une précision limitée des n-grammes. Elle montrait une faible corrélation avec le jugement humain lorsqu'elle était appliquée à des phrases individuelles. METEOR a remédié à ces lacunes en accordant un poids plus important au rappel qu'à la précision (avec un ratio de 9 pour 1 dans la moyenne harmonique), en intégrant des ressources linguistiques pour la correspondance au-delà des formes de surface exactes, et en produisant des scores pouvant être comparés de manière significative au niveau des segments.
Le processus de notation commence par une étape d'alignement. L'algorithme construit des correspondances entre les unigrammes de la traduction candidate et ceux de la traduction de référence. Chaque unigramme de la candidate peut correspondre à au plus un unigramme de la référence. Lorsque plusieurs alignements sont possibles avec le même nombre de correspondances, l'algorithme privilégie l'alignement avec le moins de croisements entre les lignes de correspondance, ce qui favorise les correspondances monotones et contiguës.
Étapes de correspondance
METEOR applique la correspondance en plusieurs étapes. La première étape utilise la correspondance exacte des mots. Les étapes suivantes ajoutent des correspondances basées sur la lemmatisation et la synonymie, en s'appuyant sur des ressources telles que WordNet pour l'anglais. Chaque étape n'ajoute que des unigrammes non encore appariés lors des étapes précédentes. Cette approche progressive permet à la métrique de créditer des expressions sémantiquement équivalentes mais lexicalement différentes, une capacité que les métriques antérieures ne possédaient pas.
Après l'alignement, la précision et le rappel sont calculés à partir du nombre d'unigrammes appariés. Le rappel est pondéré plus fortement que la précision dans le score final F, en utilisant la formule 10PR/(R+9P). Cette pondération reflète le fait que le rappel est plus fortement corrélé au jugement humain dans l'évaluation de la qualité de la traduction. Le score final est ajusté par une pénalité de fragmentation dérivée du nombre de groupes d'unigrammes appariés ; des correspondances contiguës plus longues produisent moins de groupes et donc une pénalité plus faible.
Vue d'ensemble de l'algorithme
L'algorithme opère sur une paire de phrases : une traduction candidate et une traduction de référence. Il construit un alignement en établissant des correspondances entre unigrammes sous contraintes, en favorisant les alignements avec moins de croisements. La correspondance se déroule en étapes, chaque étape ajoutant des correspondances basées d'abord sur les formes exactes des mots, puis sur les lemmes, puis sur les synonymes. Après l'alignement, la précision des unigrammes est le nombre d'unigrammes appariés divisé par le nombre total d'unigrammes de la candidate, tandis que le rappel est ce même nombre divisé par le nombre total d'unigrammes de la référence. Ces deux mesures sont combinées en une moyenne harmonique avec un poids neuf fois plus important pour le rappel. Une pénalité est ensuite appliquée en fonction du degré de fragmentation des unigrammes appariés en groupes contigus ; les traductions avec de nombreuses correspondances non adjacentes reçoivent une pénalité plus élevée, réduisant le score final jusqu'à 50 pour cent.
Pour un corpus, les valeurs agrégées de précision, de rappel et de pénalité sont calculées sur l'ensemble des segments. Lorsque plusieurs traductions de référence sont disponibles, la candidate est notée contre chacune d'elles et le score le plus élevé est retenu.
Comparaison avec BLEU
BLEU, introduite plus tôt, mesure le chevauchement des n-grammes avec une pénalité de brièveté et est largement utilisée dans la recherche en traduction automatique. Cependant, elle repose sur la correspondance exacte des mots et ne prend pas en compte les synonymes ni les variantes morphologiques. METEOR a été conçue pour surmonter ces problèmes en utilisant la lemmatisation et la correspondance par synonymes, et en pondérant davantage le rappel. Les expériences rapportées indiquent que METEOR atteint une corrélation avec le jugement humain allant jusqu'à 0,964 au niveau du corpus, contre 0,817 pour BLEU sur les mêmes données. Au niveau des segments, METEOR montre une corrélation maximale de 0,403, ce que ses partisans considèrent comme mieux adapté à l'évaluation de phrases individuelles.
Détails de l'algorithme
Le processus d'alignement dans METEOR fait correspondre les unigrammes de la traduction candidate à ceux de la traduction de référence, chaque unigramme de la candidate correspondant à au plus un unigramme de la référence. L'algorithme sélectionne l'alignement avec le plus grand nombre de correspondances ; en cas d'égalité, il choisit celui avec le moins de croisements entre les unigrammes appariés. La correspondance se déroule en étapes : d'abord les correspondances exactes, puis les correspondances par lemmes (à l'aide d'un outil de lemmatisation), puis les correspondances par synonymes. Chaque étape n'ajoute que des correspondances pour des unigrammes non encore appariés lors des étapes précédentes.
Une fois l'alignement final calculé, la précision P et le rappel R sont déterminés. La moyenne harmonique F est définie comme 10PR/(R+9P), ce qui donne au rappel un poids neuf fois supérieur à celui de la précision. Pour tenir compte de la fluidité et de l'ordre des mots, l'algorithme regroupe les unigrammes appariés en un nombre minimal de groupes, où un groupe est un ensemble d'unigrammes adjacents à la fois dans la candidate et dans la référence. La pénalité p est calculée comme 0,5 × (c/um)^3, où c est le nombre de groupes et um le nombre d'unigrammes appariés. Le score final du segment est F multiplié par (1 - p).
Applications et extensions
METEOR a été utilisée dans des campagnes d'évaluation de la traduction automatique, notamment dans des tâches partagées et des comparaisons de systèmes où la fiabilité au niveau des phrases est importante. Parce qu'elle peut être appliquée au niveau des segments, elle est utile pour ajuster et analyser les sorties de traduction d'une manière que les métriques au niveau du corpus ne peuvent pas facilement prendre en charge. Des variantes et extensions ont vu le jour au fil du temps, notamment des versions adaptées à différentes paires de langues et à l'évaluation du résumé automatique. La métrique a également influencé des approches d'évaluation ultérieures dans des domaines connexes tels que la génération de légendes d'images, où la correspondance par synonymes et le chevauchement de n-grammes se sont révélés utiles.
Limites
La métrique repose toujours sur des traductions de référence et ne capture pas certains aspects de la qualité de la traduction tels que la fluidité au-delà de ce qui est impliqué par le chevauchement lexical. Sa dépendance à des ressources de synonymes prédéfinies peut limiter ses performances pour une terminologie spécifique à un domaine ou pour des langues dépourvues de telles ressources. Bien que la corrélation avec le jugement humain au niveau du corpus ait été rapportée comme élevée lors des premières expériences, la corrélation au niveau des phrases est restée modérée, reflétant la difficulté inhérente à l'évaluation automatisée au niveau des segments. Des variantes ultérieures et des métriques alternatives ont continué à s'appuyer sur ces idées.
Voir aussi
- apprentissage automatique
- intelligence artificielle
- traitement du langage naturel
- grands modèles de langage