BLEU (bilingual evaluation understudy) est un algorithme permettant d'évaluer la qualité d'un texte traduit automatiquement d'une langue naturelle vers une autre. La métrique repose sur le principe qu'une traduction automatique est d'autant meilleure qu'elle se rapproche d'une traduction humaine professionnelle. Développé chez IBM en 2001, BLEU a été parmi les premières métriques automatisées à montrer une forte corrélation avec les jugements humains sur la qualité des traductions, et conserve sa popularité grâce à son faible coût et sa rapidité.
Les scores BLEU sont calculés pour des segments traduits individuels - généralement des phrases - en les comparant à un ensemble de traductions de référence de haute qualité. Ces scores de segments sont ensuite moyennés sur l'ensemble du corpus pour estimer la qualité globale de la traduction. La métrique ne prend pas directement en compte l'intelligibilité ou la correction grammaticale. Sa sortie est toujours un nombre entre 0 et 1, où des valeurs proches de 1 indiquent une plus grande similarité avec les traductions de référence. Peu de traductions humaines atteignent un score parfait de 1,0, car cela exigerait une correspondance exacte avec une référence, et l'ajout de davantage de traductions de référence augmente les chances de correspondances et donc le score.
Définition mathématique
Le score BLEU compare une chaîne candidate ŷ avec une liste de chaînes de référence (y^(1), ..., y^(N)). Le score se rapproche de 1 lorsque le candidat ressemble étroitement aux références et de 0 lorsqu'il ne leur ressemble pas. Une analogie utile est celle d'un professeur de langue notant la traduction d'un étudiant en la comparant à des réponses de référence.
Pour un corpus de M chaînes candidates, chacune avec son propre ensemble de traductions de référence, BLEU calcule un score de précision modifié basé sur les n-grammes. Un n-gramme est une séquence contiguë de n mots d'un texte. La métrique compte combien de n-grammes de la traduction candidate apparaissent dans l'une des traductions de référence, mais limite le comptage pour éviter de surcompter les n-grammes répétés.
Précision modifiée
La précision modifiée pour les n-grammes (généralement n = 1 à 4) est calculée en prenant le nombre de n-grammes candidats qui correspondent à un n-gramme de référence et en le divisant par le nombre total de n-grammes candidats. La pénalité de brièveté traite la tendance des traductions plus courtes à obtenir des scores de précision artificiellement élevés. Elle pénalise les candidats plus courts que leurs références.
Le score BLEU final est la moyenne géométrique des précisions de n-grammes multipliée par la pénalité de brièveté. La pratique courante utilise un poids uniforme sur les n-grammes d'ordres 1 à 4.
== Histoire ==
Kishore Papineni, Salim Roukos, Todd Ward et Wei-Jing Zhu ont développé BLEU alors qu'ils travaillaient au centre de recherche Thomas J. Watson d'IBM. Ils l'ont publié en 2002 lors de la réunion annuelle de l'Association for Computational Linguistics (ACL). La métrique est apparue comme l'une des premières méthodes d'évaluation automatisées avec une corrélation revendiquée élevée avec le jugement humain de la qualité des traductions. Son introduction répondait au besoin d'une alternative rapide et peu coûteuse à l'évaluation humaine, qui était coûteuse et lente. BLEU est rapidement devenu une référence standard dans la recherche en Machine learning et en traitement automatique des langues, adopté largement dans les articles académiques et les évaluations industrielles.
Base mathématique
Les scores BLEU sont calculés par segment, généralement une phrase, en comparant la traduction candidate à une ou plusieurs traductions de référence. L'algorithme calcule une précision de n-grammes modifiée : il compte le nombre de n-grammes (séquences contiguës de n mots) du candidat qui apparaissent dans une traduction de référence, avec un mécanisme de limitation qui empêche le surcomptage lorsqu'un candidat répète un n-gramme plus de fois qu'il n'apparaît dans une référence. Cette précision est calculée pour une gamme de longueurs de n-grammes, généralement de 1 à 4.
Une pénalité de brièveté est appliquée au score pour décourager les candidats trop courts par rapport aux références, car des sorties courtes pourraient autrement obtenir une précision élevée en incluant uniquement des mots correspondants. La pénalité de brièveté est calculée à partir du rapport entre la longueur du candidat et la longueur de référence effective, garantissant que les traductions incomplètes sont pénalisées. Le score BLEU final est une moyenne géométrique des précisions de n-grammes modifiées multipliée par ce facteur de pénalité de brièveté.
La sortie se situe toujours entre 0 et 1, et conserve sa popularité grâce au faible coût et à la rapidité du calcul. Peu de traductions humaines atteignent un score parfait de 1, car cela indiquerait que le candidat est identique à l'une des traductions de référence. Comme il y a davantage d'opportunités de correspondances de n-grammes, inclure davantage de traductions de référence augmentera généralement le score BLEU.
Histoire et développement
BLEU a été introduit en 2001 par des chercheurs d'IBM, notamment Kishore Papineni, Salim Roukos, Todd Ward et Wei-Jing Zhu. La métrique a été conçue pour répondre au besoin d'une méthode d'évaluation peu coûteuse et indépendante de la langue pour la traduction automatique, remplaçant l'évaluation humaine coûteuse et lente. Le nom, bilingual evaluation understudy, reflète son rôle de substitut aux juges humains.
L'introduction de la métrique a coïncidé avec un intérêt croissant pour la traduction automatique statistique, où l'itération rapide nécessitait un moyen automatisé de comparer les sorties des systèmes. La simplicité de BLEU et sa forte corrélation avec le jugement humain en ont fait une référence standard dans le domaine pendant des années.
Précision de n-grammes et pénalité de brièveté
BLEU calcule la précision pour des n-grammes de longueurs variables, généralement de 1 à 4. La précision modifiée pour chaque ordre de n-grammes compte le nombre maximal de fois où un n-gramme apparaît dans une seule référence, plafonnant le comptage du candidat à ce maximum. Cela empêche les traductions trop longues ou répétitives de gonfler le score.
Une pénalité de brièveté est appliquée aux traductions candidates plus courtes que leurs références. Si le candidat est plus long que la référence, la pénalité est de 1 ; sinon, elle diminue de manière exponentielle avec le rapport de longueur. Cette pénalité décourage les traductions incomplètes qui pourraient autrement obtenir une précision élevée.
Moyenne géométrique et plage de scores
Le score BLEU final combine les précisions modifiées sur les ordres de n-grammes en utilisant une moyenne géométrique, généralement pour n = 1 à 4. La pénalité de brièveté multiplie cette moyenne. Les scores BLEU se situent généralement entre 0 et 1, bien qu'ils soient souvent rapportés en pourcentages sur une échelle de 0 à 100. Les scores supérieurs à 0,4 sont généralement considérés comme des traductions de haute qualité, mais l'échelle n'est pas absolue et dépend fortement de la paire de langues et du domaine.
Applications et limites
BLEU reste l'une des métriques les plus utilisées dans la recherche en traduction automatique. Il a été employé pour évaluer des systèmes dans des articles académiques, des références industrielles et des tâches partagées. La métrique est également utilisée dans des domaines au-delà de la traduction, comme le résumé de texte et la légende d'images, où des textes de référence servent de vérité terrain.
Les critiques notent que BLEU ne mesure pas directement l'intelligibilité ou la correction grammaticale. Un candidat fluide mais sémantiquement différent de la référence peut obtenir un score faible, tandis qu'un candidat maladroit mais partageant des n-grammes peut obtenir un score plus élevé. La correspondance de n-grammes de la métrique est purement lexicale, donc la paraphrase et la synonymie sont pénalisées même lorsque le sens est préservé. La corrélation avec le jugement humain est forte au niveau du corpus mais plus faible pour les phrases individuelles.
Applications et limites
BLEU reste l'une des métriques automatisées les plus populaires dans la recherche en Machine learning et dans le développement de systèmes de traduction basés sur les Large language model. Il est fréquemment utilisé pour comparer les itérations de modèles dans le développement de l'Artificial intelligence et pour ajuster les hyperparamètres des modèles de Neural network. Son faible coût de calcul le rend adapté à l'évaluation à grande échelle pendant les cycles d'entraînement et de développement.
Les limites incluent la sensibilité à la qualité des traductions de référence, l'absence de prise en compte de l'équivalence sémantique et la nécessité de plusieurs références pour des scores fiables. BLEU tend également à favoriser les traductions qui reflètent étroitement la formulation de la référence, pénalisant potentiellement des traductions alternatives valides. Des métriques ultérieures, comme METEOR et ROUGE, ont tenté de remédier à certains de ces défauts, bien que BLEU reste une référence largement citée dans la recherche en Machine learning.
Applications et influence
BLEU est utilisé dans tout le domaine du traitement automatique des langues, en particulier pour entraîner et évaluer des systèmes de traduction développés avec des approches de Deep learning telles que les modèles basés sur Transformer (architecture). Il a également été adapté pour d'autres tâches de génération, y compris le résumé de texte et la légende d'images, malgré sa conception initiale pour la traduction. L'influence de la métrique s'étend au-delà du monde académique ; les grands laboratoires et entreprises d'IA, notamment OpenAI, Google DeepMind et Anthropic, ont utilisé BLEU ou ses variantes lors de l'évaluation de modèles génératifs.
Les implémentations standard, comme celles de la bibliothèque NLTK (Natural Language Toolkit), fournissent des fonctions faciles à utiliser pour calculer les scores BLEU. Cette accessibilité a cimenté son rôle de métrique par défaut dans les évaluations de traitement automatique des langues. Cependant, les chercheurs ont noté que BLEU ne capture pas bien l'équivalence sémantique ; deux traductions ayant le même sens mais des choix de mots différents peuvent obtenir des scores faibles malgré leur haute qualité. Cette limite a conduit au développement d'alternatives, mais BLEU reste une référence fondamentale dans l'évaluation de la traduction automatique.
Limites et critiques
BLEU présente plusieurs limites connues. Il ignore la correction grammaticale et ne tient pas explicitement compte de l'ordre des mots au-delà de la correspondance de n-grammes. Il ne reconnaît pas non plus les synonymes ou les paraphrases qui ne correspondent pas à la formulation de la référence. Ces faiblesses peuvent conduire à des cas où une traduction est précise mais obtient un score faible, ou où une traduction défectueuse avec un chevauchement lexical élevé obtient un bon score.
De plus, les scores BLEU sont sensibles au nombre et à la qualité des traductions de référence. Les systèmes peuvent optimiser pour BLEU en favorisant les phrases courantes, parfois au détriment de la fluidité ou de l'adéquation. Malgré ces problèmes, BLEU corrèle raisonnablement avec le jugement humain au niveau du corpus et reste largement utilisé pour des comparaisons rapides de systèmes, bien que des métriques plus récentes le complètent ou le remplacent de plus en plus dans les contextes de recherche.
Applications et limites
L'application principale de BLEU est l'évaluation des systèmes de traduction automatique, des premiers modèles statistiques à base de phrases aux approches modernes basées sur Neural network et Transformer (architecture). Il a également été adapté pour des tâches comme le résumé de texte et la légende d'images. Son faible coût de calcul le rend idéal pour le développement itératif, où des milliers de traductions doivent être notées rapidement pendant les boucles d'entraînement en Deep learning.
Cependant, BLEU présente des limites connues. Il ne capture pas l'équivalence sémantique, donc des paraphrases avec des choix de mots différents peuvent obtenir des scores faibles. Il peine également avec les langues morphologiquement riches et ne tient pas compte de l'ordre des mots au-delà de l'adjacence des n-grammes. Ces défauts ont conduit au développement de métriques alternatives, bien que BLEU reste une référence de base dans la plupart des recherches sur les grands modèles de langage et la traduction par Neural network.
Applications et limites
BLEU est largement utilisé dans la recherche académique et l'industrie pour comparer les systèmes de traduction, y compris ceux construits sur des architectures Transformer (architecture) et des grands modèles de langage. Il sert de contrôle de régression rapide pendant le développement de modèles, complétant l'évaluation humaine. Cependant, BLEU présente des limites connues : il corrèle imparfaitement avec les jugements humains, en particulier pour les langues morphologiquement riches ou lorsque des paraphrases sont valides. Il récompense également le chevauchement lexical plutôt que l'équivalence sémantique, une lacune que des métriques ultérieures comme METEOR et ROUGE ont cherché à combler, bien que BLEU reste le plus cité.
Malgré ces inconvénients, la simplicité et la reproductibilité de BLEU ont assuré son utilisation continue dans la recherche en traduction automatique et dans des tâches connexes. Son rôle dans le domaine est fondamental, influençant la conception de protocoles d'évaluation pour les systèmes de traduction basés sur Neural network et au-delà.