BLEU (bilingual evaluation understudy) est un algorithme permettant d'évaluer la qualité d'un texte traduit automatiquement d'une langue naturelle à une autre. La qualité est considérée comme la correspondance entre la sortie d'une machine et celle d'un humain : « plus une traduction automatique est proche d'une traduction humaine professionnelle, meilleure elle est » - c'est l'idée centrale derrière BLEU. Inventé chez IBM en 2001, BLEU a été l'une des premières métriques à revendiquer une forte corrélation avec les jugements humains de qualité, et reste l'une des métriques automatisées et peu coûteuses les plus populaires.
Les scores sont calculés pour des segments traduits individuels - généralement des phrases - en les comparant à un ensemble de traductions de référence de bonne qualité. Ces scores sont ensuite moyennés sur l'ensemble du corpus pour obtenir une estimation de la qualité globale de la traduction. L'intelligibilité ou la correction grammaticale ne sont pas prises en compte. La sortie de BLEU est toujours un nombre entre 0 et 1, indiquant à quel point le texte candidat est similaire aux textes de référence, les valeurs proches de 1 représentant des textes plus similaires. Peu de traductions humaines atteindront un score de 1, car cela indiquerait que le candidat est identique à l'une des traductions de référence. Pour cette raison, il n'est pas nécessaire d'atteindre un score de 1. Comme il y a plus d'opportunités de correspondance, l'ajout de traductions de référence supplémentaires augmentera le score BLEU.
Contexte historique
BLEU a été développé par des chercheurs d'IBM, notamment Kishore Papineni, Salim Roukos, Todd Ward et Wei-Jing Zhu, qui ont publié la métrique dans un article de 2002 intitulé « BLEU: a Method for Automatic Evaluation of Machine Translation ». Ce travail est né du besoin croissant d'évaluation automatisée dans le domaine de l'apprentissage automatique et de l'intelligence artificielle, en particulier à mesure que les systèmes de traduction automatique devenaient plus sophistiqués. Avant BLEU, l'évaluation de la traduction automatique reposait généralement sur des juges humains, ce qui était coûteux, long et difficile à reproduire entre différentes études. BLEU a offert une alternative bon marché, rapide et indépendante de la langue, pouvant être appliquée de manière cohérente à tout système de traduction.
La métrique a été introduite à une période où la traduction automatique statistique gagnait du terrain, et elle est rapidement devenue une référence standard dans le domaine. Son développement était étroitement lié aux travaux de la division de recherche d'IBM, qui était un acteur majeur du traitement du langage naturel depuis les années 1980. Le nom « bilingual evaluation understudy » reflète son rôle de substitut à l'évaluation humaine, un peu comme un acteur doublure qui remplace un interprète principal.
Définition mathématique
Configuration de base
Une première tentative de base pour définir le score BLEU prendrait deux arguments : une chaîne candidate et une liste de chaînes de référence. L'idée est que le score BLEU devrait être proche de 1 lorsque le candidat est similaire aux références, et proche de 0 sinon. Par analogie, le score BLEU est comme un professeur de langue essayant de noter la qualité d'une traduction d'étudiant en vérifiant à quel point elle suit les réponses de référence.
Comme en traitement du langage naturel, on doit évaluer un grand ensemble de chaînes candidates, il faut généraliser le score BLEU au cas où l'on a une liste de M chaînes candidates (appelée « corpus »), et pour chaque chaîne candidate, une liste de chaînes de référence. Pour toute chaîne et tout entier n ≥ 1, l'ensemble de ses n-grammes est défini comme l'ensemble des séquences contiguës uniques de n mots. Par exemple, les 2-grammes de la chaîne « the cat sat » seraient {"the cat", "cat sat"}.
Précision et précision modifiée
Le cœur de BLEU est une forme modifiée de précision. La précision standard compterait le nombre de n-grammes dans le candidat qui apparaissent dans une référence quelconque, divisé par le nombre total de n-grammes dans le candidat. Cependant, cela peut être gonflé par la répétition de mots courants. BLEU utilise une précision écrêtée : pour chaque n-gramme du candidat, son compte est limité au nombre maximal de fois où il apparaît dans une seule référence. Cela évite le surcomptage et garantit que le score reflète une correspondance réelle.
Pour chaque ordre de n-grammes n (généralement 1 à 4), la précision modifiée est calculée comme la somme des comptes écrêtés sur toutes les phrases candidates, divisée par la somme des comptes totaux de n-grammes dans tous les candidats. Cela est souvent noté p_n.
Pénalité de brièveté
Un composant critique de BLEU est la pénalité de brièveté, qui traite le problème des traductions courtes. Un système pourrait obtenir une haute précision en produisant seulement quelques mots qui correspondent aux références, mais une telle traduction serait incomplète. La pénalité de brièveté est calculée en fonction du rapport entre la longueur totale du corpus candidat et la longueur totale du corpus de référence. Si le candidat est plus court que la référence, la pénalité réduit le score ; s'il est plus long, aucune pénalité n'est appliquée. La formule est : BP = 1 si c > r, et BP = exp(1 - r/c) si c ≤ r, où c est la longueur du candidat et r est la longueur de référence effective (la somme des longueurs de référence les plus proches de la longueur de chaque candidat).
Score final
Le score BLEU final est le produit de la pénalité de brièveté et de la moyenne géométrique des précisions modifiées pour les n-grammes d'ordres 1 à N (généralement N=4). La moyenne géométrique est pondérée de manière égale, et le résultat est une valeur entre 0 et 1. En pratique, les scores sont souvent rapportés en pourcentages (par exemple, BLEU 30 signifie 0,30). La formule est : BLEU = BP exp(Σ_{n=1}^{N} (1/N) log p_n).
Applications en traduction automatique
BLEU a été initialement conçu pour évaluer les systèmes de traduction automatique, et il reste une métrique standard dans ce domaine. Les groupes de recherche et les entreprises développant des systèmes de traduction, des premiers modèles statistiques aux approches modernes basées sur les réseaux de neurones, ont utilisé BLEU pour comparer leurs sorties aux traductions de référence. Par exemple, des systèmes de Google DeepMind et d'autres organisations ont rapporté des scores BLEU dans des articles académiques pour démontrer des améliorations par rapport aux références.
La métrique est particulièrement utile pour l'itération rapide pendant le développement. Les développeurs peuvent exécuter BLEU sur un ensemble de test après chaque modification d'un modèle, ce qui leur permet de suivre les progrès sans avoir besoin d'annotateurs humains. Cela a fait de BLEU une norme de facto dans le domaine, malgré ses limitations connues.
Utilisation dans la génération de texte et les grands modèles de langage
Au-delà de la traduction automatique, BLEU a été adapté pour évaluer d'autres tâches de génération de texte, notamment le résumé, les systèmes de dialogue et la génération de légendes d'images. Avec l'essor des grands modèles de langage tels que ceux développés par OpenAI et Anthropic, BLEU a été utilisé comme l'une des plusieurs métriques automatisées pour évaluer la qualité des sorties. Cependant, son applicabilité à la génération ouverte est débattue, car BLEU récompense le chevauchement exact de n-grammes avec les références, ce qui peut ne pas capturer l'équivalence sémantique.
Dans des tâches comme le résumé, BLEU est souvent utilisé aux côtés d'autres métriques telles que ROUGE. Pour les systèmes de dialogue, BLEU peut être trompeur car il existe de nombreuses réponses valides à une invite donnée, et une seule référence peut ne pas représenter toutes les possibilités. Malgré ces problèmes, BLEU reste un moyen rapide et peu coûteux d'obtenir une estimation approximative de la qualité, et il est souvent rapporté dans les articles de recherche comme métrique de référence.
Limitations et critiques
BLEU présente plusieurs limitations bien documentées. Premièrement, il ne tient pas compte de l'intelligibilité ou de la correction grammaticale ; une traduction pourrait obtenir un score élevé si elle partage de nombreux n-grammes avec les références mais reste non grammaticale. Deuxièmement, il est sensible au choix des références ; différents ensembles de références peuvent donner des scores très différents pour le même candidat. Troisièmement, BLEU tend à favoriser les traductions lexicalement similaires aux références, ce qui peut pénaliser des traductions valides utilisant un vocabulaire ou une structure de phrase différente.
Une autre critique est que BLEU ne gère pas bien les synonymes ou les paraphrases. Par exemple, si une référence dit « the cat sat on the mat » et qu'un candidat dit « the feline rested on the rug », le score BLEU serait faible malgré l'équivalence sémantique. Cela a conduit au développement de métriques alternatives, telles que METEOR et ROUGE, qui intègrent la racinisation et la correspondance de synonymes. Dans le contexte de la IA générative, les chercheurs ont également noté que BLEU corrèle mal avec le jugement humain pour des sorties créatives ou ouvertes.
Relation avec d'autres métriques
BLEU fait partie d'une famille plus large de métriques d'évaluation automatisées en traitement du langage naturel. Il est orienté vers la précision, se concentrant sur la quantité de contenu du candidat qui apparaît dans les références. En revanche, ROUGE est orienté vers le rappel, mesurant la quantité de contenu de référence capturée par le candidat. METEOR combine précision et rappel avec la correspondance de synonymes et une pénalité pour les différences d'ordre des mots. Ces métriques sont souvent utilisées ensemble pour fournir une évaluation plus complète.
Dans le contexte des modèles basés sur les transformeurs et des systèmes d'apprentissage profond, BLEU a été utilisé comme objectif d'entraînement dans certaines configurations d'apprentissage par renforcement, bien que cela soit moins courant que son utilisation purement pour l'évaluation. La simplicité et l'efficacité computationnelle de la métrique la rendent attrayante pour l'évaluation comparative à grande échelle, comme dans les tâches partagées organisées par des conférences académiques.
Considérations pratiques
Lors de l'utilisation de BLEU, plusieurs facteurs pratiques affectent le score. Le nombre de traductions de référence compte : ajouter plus de références augmente généralement le score car il y a plus d'opportunités de correspondance de n-grammes. La méthode de tokenisation influence également les résultats ; par exemple, que la ponctuation soit supprimée ou que la casse soit normalisée peut changer les comptes de n-grammes. Différentes implémentations peuvent produire des scores légèrement différents pour les mêmes données, il est donc important de rapporter les paramètres exacts utilisés.
Les scores BLEU ne sont pas comparables entre différents corpus ou langues. Un score de 0,40 sur un ensemble de test peut être excellent, tandis que sur un autre, il peut être médiocre. Par conséquent, BLEU est mieux utilisé pour des comparaisons relatives entre systèmes sur les mêmes données, plutôt que comme une mesure absolue de qualité. Les chercheurs rapportent souvent BLEU aux côtés d'une évaluation humaine pour valider les résultats.
Directions futures
Alors que l'intelligence artificielle et l'apprentissage automatique continuent d'évoluer, le rôle de BLEU est en cours de réévaluation. Des métriques plus récentes, telles que BERTScore et COMET, utilisent des plongements de modèles pré-entraînés pour capturer plus efficacement la similarité sémantique. Ces métriques corrèlent souvent mieux avec le jugement humain mais sont plus coûteuses en calcul. BLEU, cependant, reste une référence utile en raison de sa simplicité et de son interprétabilité.
À l'ère des grands modèles de langage, l'évaluation est de plus en plus axée sur des tâches comme le suivi d'instructions et l'exactitude factuelle, où BLEU est moins pertinent. Néanmoins, l'héritage de BLEU comme l'une des premières métriques d'évaluation automatisées a façonné la manière dont le domaine aborde l'évaluation de la qualité. Ses principes - comparer la sortie de la machine aux références humaines - continuent d'informer la conception de nouvelles métriques.