BLEU (bilingual evaluation understudy) es un algoritmo para evaluar la calidad de texto que ha sido traducido automáticamente de un idioma natural a otro. La calidad se considera como la correspondencia entre la salida de una máquina y la de un humano: "cuanto más se acerca una traducción automática a una traducción humana profesional, mejor es" - esta es la idea central detrás de BLEU. Inventado en IBM en 2001, BLEU fue una de las primeras métricas en afirmar una alta correlación con los juicios humanos de calidad, y sigue siendo una de las métricas automáticas y económicas más populares.
Las puntuaciones se calculan para segmentos traducidos individuales - generalmente oraciones - comparándolos con un conjunto de traducciones de referencia de buena calidad. Esas puntuaciones se promedian luego sobre todo el corpus para alcanzar una estimación de la calidad general de la traducción. No se tienen en cuenta la inteligibilidad ni la corrección gramatical. La salida de BLEU es siempre un número entre 0 y 1, que indica cuán similar es el texto candidato a los textos de referencia, siendo los valores más cercanos a 1 los que representan textos más similares. Pocas traducciones humanas alcanzan una puntuación de 1, ya que esto indicaría que el candidato es idéntico a una de las traducciones de referencia. Por esta razón, no es necesario alcanzar una puntuación de 1. Debido a que hay más oportunidades de coincidencia, agregar traducciones de referencia adicionales aumentará la puntuación BLEU.
Contexto histórico
BLEU fue desarrollado por investigadores de IBM, incluyendo a Kishore Papineni, Salim Roukos, Todd Ward y Wei-Jing Zhu, quienes publicaron la métrica en un artículo de 2002 titulado "BLEU: a Method for Automatic Evaluation of Machine Translation". El trabajo surgió de la creciente necesidad de evaluación automatizada en el campo del aprendizaje automático y la inteligencia artificial, particularmente a medida que los sistemas de traducción automática se volvieron más sofisticados. Antes de BLEU, la evaluación de la traducción automática dependía típicamente de jueces humanos, lo que era costoso, requería mucho tiempo y era difícil de replicar en diferentes estudios. BLEU ofreció una alternativa barata, rápida e independiente del idioma que podía aplicarse de manera consistente a cualquier sistema de traducción.
Se introdujo durante un período en el que la traducción automática estadística estaba ganando terreno, y rápidamente se convirtió en un punto de referencia estándar en el campo. Su desarrollo estuvo estrechamente vinculado a la división de investigación de IBM, que había sido un actor importante en el procesamiento del lenguaje natural desde la década de 1980. El nombre "bilingual evaluation understudy" refleja su papel como sustituto de la evaluación humana, similar a un actor suplente que reemplaza al actor principal.
Definición matemática
Configuración básica
Un primer intento básico de definir la puntuación BLEU tomaría dos argumentos: una cadena candidata y una lista de cadenas de referencia. La idea es que la puntuación BLEU sea cercana a 1 cuando el candidato es similar a las referencias, y cercana a 0 si no lo es. Como analogía, la puntuación BLEU es como un profesor de idiomas que evalúa la calidad de una traducción de un estudiante verificando cuán fielmente sigue las respuestas de referencia.
Dado que en el procesamiento del lenguaje natural se debe evaluar un conjunto grande de cadenas candidatas, es necesario generalizar la puntuación BLEU al caso en que se tiene una lista de M cadenas candidatas (llamado un "corpus"), y para cada cadena candidata, una lista de cadenas de referencia. Para cualquier cadena y cualquier entero n ≥ 1, el conjunto de sus n-gramas se define como el conjunto de secuencias contiguas únicas de n palabras. Por ejemplo, los 2-gramas de la cadena "el gato se sentó" serían {"el gato", "gato se", "se sentó"}.
Precisión y precisión modificada
El núcleo de BLEU es una forma modificada de precisión. La precisión estándar contaría el número de n-gramas en el candidato que aparecen en cualquier referencia, dividido por el número total de n-gramas en el candidato. Sin embargo, esto puede inflarse repitiendo palabras comunes. BLEU utiliza una precisión recortada: para cada n-grama en el candidato, su recuento se limita al número máximo de veces que aparece en una sola referencia. Esto evita el recuento excesivo y asegura que la puntuación refleje la correspondencia real.
Para cada orden n (típicamente de 1 a 4), la precisión modificada se calcula como la suma de los recuentos recortados de n-gramas en todos los candidatos, dividida por la suma de los recuentos totales de n-gramas en todos los candidatos. Esto se denota a menudo como p_n.
Penalización por brevedad
Un componente crítico de BLEU es la penalización por brevedad, que aborda el problema de las traducciones cortas. Un sistema podría lograr una alta precisión produciendo solo unas pocas palabras que coinciden con las referencias, pero una traducción así sería incompleta. La penalización por brevedad se calcula en función de la relación entre la longitud total del corpus candidato y la longitud total del corpus de referencia. Si el candidato es más corto que la referencia, la puntuación se reduce; si es más largo, no se aplica penalización. Esto evita que las traducciones demasiado cortas obtengan puntuaciones artificialmente altas.
Puntuación final
La puntuación BLEU final es el producto de la penalización por brevedad y la media geométrica de las precisiones modificadas para n-gramas de órdenes 1 a N (generalmente N=4). El resultado es un valor entre 0 y 1, que a menudo se reporta como porcentaje. La fórmula combina la precisión de n-gramas de diferentes longitudes con la penalización por brevedad para producir una puntuación única que refleja tanto la adecuación del contenido como la fluidez del texto generado.
Aplicaciones en Traducción Automática
BLEU fue diseñado originalmente para evaluar sistemas de traducción automática y sigue siendo una métrica estándar en ese dominio. Los grupos de investigación y las empresas que desarrollan sistemas de traducción, desde los primeros modelos estadísticos hasta los enfoques modernos basados en redes neuronales, han utilizado BLEU para comparar sus resultados con traducciones de referencia. Por ejemplo, sistemas de Google DeepMind y otras organizaciones han reportado puntuaciones BLEU en artículos académicos para demostrar mejoras sobre líneas base.
La métrica es particularmente útil para la iteración rápida durante el desarrollo. Los desarrolladores pueden ejecutar BLEU en un conjunto de prueba después de cada cambio en el modelo para rastrear el progreso sin necesidad de evaluadores humanos. Esto ha convertido a BLEU en un estándar de facto en el campo, a pesar de sus limitaciones conocidas.
Uso en Generación de Texto y Modelos de Lenguaje Grande
Más allá de la traducción automática, BLEU se ha adaptado para evaluar otras tareas de generación de texto, como la generación de resúmenes, la descripción de imágenes y los sistemas de diálogo. Con el auge de los modelos de lenguaje grandes, como los desarrollados por OpenAI y otras organizaciones, BLEU se ha utilizado como una de varias métricas automáticas para evaluar la calidad de las salidas. Sin embargo, su aplicabilidad a la generación de texto abierto es limitada, ya que BLEU recompensa la superposición léxica exacta con las referencias, lo que puede no reflejar la equivalencia semántica.
En tareas como la generación de resúmenes, BLEU se emplea a menudo junto con otras métricas, pero los investigadores han señalado que puede no capturar la calidad en contextos donde hay múltiples respuestas válidas. Para sistemas de diálogo, por ejemplo, una misma indicación puede tener muchas respuestas correctas, y BLEU podría penalizar respuestas válidas que difieren léxicamente de la referencia.
Limitaciones y críticas
BLEU tiene varias limitaciones bien documentadas. En primer lugar, no evalúa la inteligibilidad ni la corrección gramatical; una traducción puede obtener una puntuación alta simplemente por compartir muchos n-gramas con las referencias, incluso si es gramaticalmente incorrecta. En segundo lugar, es sensible a la elección de las referencias; diferentes conjuntos de referencias pueden producir puntuaciones muy distintas para el mismo candidato. En tercer lugar, BLEU favorece traducciones que son léxicamente similares a las referencias, lo que puede penalizar traducciones válidas que utilizan sinónimos o estructuras sintácticas diferentes.
Otra limitación importante es que BLEU no maneja bien sinónimos ni paráfrasis. Por ejemplo, si la referencia dice "el gato se sentó en la alfombra" y el candidato dice "el felino descansó sobre la esterilla", la puntuación BLEU sería baja a pesar de la equivalencia semántica. Esto ha llevado al desarrollo de métricas alternativas, como METEOR y ROUGE, que incorporan coincidencia de lemas y sinónimos. En el contexto de la IA generativa, los investigadores también han señalado que BLEU correlaciona mal con el juicio humano para salidas creativas o abiertas.
Uso en generación de texto y modelos de lenguaje grandes
Más allá de la traducción automática, BLEU se ha adaptado para evaluar otras tareas de generación de texto, como la generación de resúmenes, los sistemas de diálogo y la descripción de imágenes. Con el auge de los modelos de lenguaje grandes desarrollados por organizaciones como OpenAI y Anthropic, BLEU se ha utilizado como una de varias métricas automáticas para evaluar la calidad de las salidas generadas. Sin embargo, su aplicabilidad a tareas de generación abierta es debatida, ya que estas tareas a menudo tienen múltiples respuestas válidas que BLEU no captura adecuadamente.
En tareas de resumen, BLEU se utiliza a menudo junto con ROUGE, que es una métrica basada en la superposición de n-gramas entre el resumen generado y los resúmenes de referencia. Mientras que BLEU se centra en la precisión, ROUGE se centra en la exhaustividad, y ambos proporcionan perspectivas complementarias sobre la calidad del texto generado.
Usos en la práctica
Al usar BLEU, es importante considerar varios factores. El número de traducciones de referencia afecta la puntuación: agregar más referencias generalmente aumenta la puntuación BLEU porque hay más oportunidades de coincidencia de n-gramas. La normalización del texto también influye; por ejemplo, si se separan o no las contracciones, o cómo se manejan los signos de puntuación. Diferentes implementaciones pueden producir resultados ligeramente diferentes, por lo que es crucial especificar la configuración exacta al reportar puntuaciones.
BLEU no es comparable entre diferentes corpus o idiomas. Una puntuación de 0.40 en un conjunto de prueba puede ser excelente, mientras que en otro podría ser mediocre. Por lo tanto, BLEU se utiliza mejor para comparar sistemas en los mismos datos de evaluación, en lugar de como una medida absoluta de calidad. A menudo se reporta junto con métricas complementarias como ROUGE o METEOR para proporcionar una imagen más completa.
Relación con otras métricas
BLEU pertenece a una familia de métricas de evaluación automática en procesamiento del lenguaje natural. Es una métrica orientada a la precisión, que mide cuánto del contenido del candidato aparece en las referencias. En contraste, ROUGE está orientada a la exhaustividad, midiendo cuánto del contenido de la referencia es capturado por el candidato. METEOR combina precisión y exhaustividad con coincidencia de lemas y una penalización por orden de palabras. Estas métricas se utilizan a menudo juntas para proporcionar una evaluación más completa de la calidad de la traducción o generación de texto.
En el contexto de los modelos basados en transformadores y el aprendizaje profundo, BLEU se ha utilizado en configuraciones de aprendizaje por refuerzo como función de recompensa, aunque su simplicidad puede limitar su efectividad en tareas complejas. Para la evaluación comparativa a gran escala, BLEU sigue siendo una opción popular debido a su bajo costo computacional y su facilidad de implementación.
Consideraciones prácticas
Al usar BLEU, hay varias consideraciones prácticas. El número de referencias afecta la puntuación; más referencias generalmente conducen a puntuaciones más altas, ya que hay más oportunidades de coincidencia. La tokenización también es importante; diferentes métodos de tokenización, como la separación de palabras o la normalización de mayúsculas, pueden producir puntuaciones diferentes. Por lo tanto, es esencial informar los detalles de configuración al publicar resultados.
Además, la longitud del texto juega un papel. La penalización por brevedad se aplica a traducciones más cortas que las referencias, pero una traducción excesivamente larga también puede recibir una puntuación más baja debido a la menor precisión. Los investigadores deben ser conscientes de estos matices al interpretar los resultados.
Conclusión
BLEU ha sido una métrica fundamental en el campo del procesamiento del lenguaje natural y la traducción automática. Su simplicidad, eficiencia computacional y capacidad para correlacionarse con evaluaciones humanas la convirtieron en una herramienta estándar durante décadas. Sin embargo, sus limitaciones, particularmente en tareas de generación abierta y su sensibilidad a las referencias, han llevado al desarrollo de métricas alternativas y complementarias.
A pesar de sus defectos, BLEU sigue siendo ampliamente utilizado en la investigación y la industria, especialmente como una herramienta de evaluación rápida durante el desarrollo de sistemas. Comprender sus fortalezas y debilidades es esencial para interpretar correctamente las puntuaciones y para elegir las métricas adecuadas en diferentes contextos. En la era de los sistemas de inteligencia artificial modernos, BLEU continúa desempeñando un papel, aunque cada vez más complementado por métricas basadas en modelos de lenguaje y evaluaciones humanas.