BLEU (bilingual evaluation understudy) es un algoritmo para evaluar la calidad de textos que han sido traducidos automáticamente de un idioma natural a otro. La métrica se basa en el principio de que una traducción automática es mejor cuanto más se acerca a una traducción humana profesional. Desarrollado en IBM en 2001, BLEU fue una de las primeras métricas automatizadas en mostrar una alta correlación con los juicios humanos sobre la calidad de la traducción, y mantiene su popularidad debido a su bajo costo y rapidez.
Las puntuaciones BLEU se calculan para segmentos traducidos individuales - generalmente oraciones - comparándolos con un conjunto de traducciones de referencia de alta calidad. Estas puntuaciones de segmento se promedian luego sobre todo el corpus para estimar la calidad general de la traducción. La métrica no considera directamente la inteligibilidad ni la corrección gramatical. Su resultado es siempre un número entre 0 y 1, donde los valores más cercanos a 1 indican una mayor similitud con las traducciones de referencia. Pocas traducciones humanas alcanzan un 1.0 perfecto, ya que eso requeriría una coincidencia exacta con una referencia, y agregar más traducciones de referencia aumenta la probabilidad de coincidencias y, por lo tanto, la puntuación.
Definición matemática
La puntuación BLEU compara una cadena candidata ŷ con una lista de cadenas de referencia (y^(1), ..., y^(N)). La puntuación se acerca a 1 cuando el candidato se asemeja mucho a las referencias y a 0 cuando no. Una analogía útil es la de un profesor de idiomas que califica la traducción de un estudiante comparándola con respuestas de referencia.
Para un corpus de M cadenas candidatas, cada una con su propio conjunto de traducciones de referencia, BLEU calcula una puntuación de precisión modificada basada en n-gramas. Un n-grama es una secuencia contigua de n palabras de un texto. La métrica cuenta cuántos n-gramas en la traducción candidata aparecen en cualquiera de las traducciones de referencia, pero limita el conteo para evitar sobrecontar n-gramas repetidos.
Precisión modificada
La precisión modificada para n-gramas (típicamente n = 1 a 4) se calcula tomando el número de n-gramas candidatos que coinciden con cualquier n-grama de referencia y dividiéndolo por el número total de n-gramas candidatos. La penalización por brevedad aborda la tendencia de las traducciones más cortas a lograr puntuaciones de precisión artificialmente altas. Penaliza a los candidatos más cortos que sus referencias.
La puntuación BLEU final es la media geométrica de las precisiones de n-gramas multiplicada por la penalización por brevedad. La práctica común utiliza un peso uniforme sobre n-gramas de órdenes 1 a 4.
== Historia ==
Kishore Papineni, Salim Roukos, Todd Ward y Wei-Jing Zhu desarrollaron BLEU mientras trabajaban en el Centro de Investigación Thomas J. Watson de IBM. Lo publicaron en 2002 en la Reunión Anual de la Asociación de Lingüística Computacional (ACL). La métrica surgió como uno de los primeros métodos de evaluación automatizada con una alta correlación afirmada con el juicio humano sobre la calidad de la traducción. Su introducción abordó la necesidad de una alternativa rápida y económica a la evaluación humana, que era costosa y lenta. BLEU se convirtió rápidamente en un estándar de referencia en la investigación de Machine learning y procesamiento del lenguaje natural, adoptado ampliamente en artículos académicos y evaluaciones industriales.
Base matemática
Las puntuaciones BLEU se calculan por segmento, típicamente una oración, comparando la traducción candidata con una o más traducciones de referencia. El algoritmo calcula una precisión de n-gramas modificada: cuenta el número de n-gramas (secuencias contiguas de n palabras) en el candidato que aparecen en cualquier traducción de referencia, con un mecanismo de recorte que evita el sobreconteo cuando un candidato repite un n-grama más veces de las que ocurre en una referencia. Esta precisión se calcula para un rango de longitudes de n-gramas, comúnmente de 1 a 4.
Se aplica una penalización por brevedad a la puntuación para desalentar candidatos que son demasiado cortos en relación con las referencias, porque los resultados cortos podrían lograr una alta precisión al incluir solo palabras que coinciden. La penalización por brevedad se calcula a partir de la relación entre la longitud del candidato y la longitud efectiva de la referencia, asegurando que las traducciones incompletas sean penalizadas. La puntuación BLEU final es una media geométrica de las precisiones de n-gramas modificadas multiplicada por este factor de penalización por brevedad.
El resultado siempre cae entre 0 y 1, y mantiene su popularidad debido al bajo costo y la rapidez del cálculo. Pocas traducciones humanas alcanzan una puntuación perfecta de 1, ya que eso indicaría que el candidato es idéntico a una de las traducciones de referencia. Debido a que hay más oportunidades de coincidencias de n-gramas, incluir más traducciones de referencia generalmente aumentará la puntuación BLEU.
Historia y desarrollo
BLEU fue introducido en 2001 por investigadores de IBM, incluyendo a Kishore Papineni, Salim Roukos, Todd Ward y Wei-Jing Zhu. La métrica fue diseñada para abordar la necesidad de un método de evaluación económico e independiente del idioma para la traducción automática, reemplazando la evaluación humana costosa y lenta. El nombre, bilingual evaluation understudy, refleja su papel como sustituto de los jueces humanos.
La introducción de la métrica coincidió con un creciente interés en la traducción automática estadística, donde la iteración rápida requería una forma automatizada de comparar los resultados del sistema. La simplicidad de BLEU y su fuerte correlación con el juicio humano lo convirtieron en un estándar de referencia en el campo durante años.
Precisión de n-gramas y penalización por brevedad
BLEU calcula la precisión para n-gramas de longitudes variables, típicamente de 1 a 4. La precisión modificada para cada orden de n-gramas cuenta el número máximo de veces que un n-grama aparece en cualquier referencia individual, limitando el conteo del candidato a ese máximo. Esto evita que traducciones excesivamente largas o repetitivas manipulen la puntuación.
Se aplica una penalización por brevedad a las traducciones candidatas más cortas que sus contrapartes de referencia. Si el candidato es más largo que la referencia, la penalización es 1; de lo contrario, disminuye exponencialmente con la relación de longitud. Esta penalización desalienta traducciones incompletas que de otro modo podrían lograr una alta precisión.
Media geométrica y rango de puntuación
La puntuación BLEU final combina las precisiones modificadas a través de órdenes de n-gramas usando una media geométrica, típicamente para n = 1 a 4. La penalización por brevedad multiplica esta media. Las puntuaciones BLEU generalmente caen entre 0 y 1, aunque a menudo se reportan como porcentajes en una escala de 0 a 100. Puntuaciones superiores a 0.4 generalmente se consideran traducciones de alta calidad, pero la escala no es absoluta y depende en gran medida del par de idiomas y el dominio.
Aplicaciones y limitaciones
BLEU sigue siendo una de las métricas más utilizadas en la investigación de traducción automática. Se ha empleado para evaluar sistemas en artículos académicos, puntos de referencia industriales y tareas compartidas. La métrica también se usa en campos más allá de la traducción, como el resumen de textos y la generación de subtítulos de imágenes, donde los textos de referencia sirven como verdad fundamental.
Los críticos señalan que BLEU no mide directamente la inteligibilidad ni la corrección gramatical. Un candidato que es fluido pero semánticamente diferente de la referencia puede obtener una puntuación baja, mientras que uno que es torpe pero comparte n-gramas puede obtener una puntuación más alta. La coincidencia de n-gramas de la métrica es puramente un reflejo léxico, por lo que la paráfrasis y la sinonimia se penalizan incluso cuando se preserva el significado. La correlación con el juicio humano es fuerte a nivel de corpus pero más débil para oraciones individuales.
Aplicaciones y limitaciones
BLEU sigue siendo una de las métricas automatizadas más populares en la investigación de Machine learning y en el desarrollo de sistemas de traducción basados en Large language model. Se utiliza frecuentemente para comparar iteraciones de modelos en el desarrollo de Artificial intelligence y para ajustar hiperparámetros en modelos de Neural network. Su bajo costo computacional lo hace adecuado para la evaluación a gran escala durante los ciclos de entrenamiento y desarrollo.
Las limitaciones incluyen la sensibilidad a la calidad de las traducciones de referencia, la falta de consideración de la equivalencia semántica y la necesidad de múltiples referencias para obtener puntuaciones confiables. BLEU también tiende a favorecer traducciones que reflejan de cerca la redacción de la referencia, penalizando potencialmente traducciones alternativas válidas. Métricas posteriores, como METEOR y ROUGE, han intentado abordar algunas de estas deficiencias, aunque BLEU sigue siendo una línea de base ampliamente citada en la investigación de Machine learning.
Aplicaciones e influencia
BLEU se usa en todo el campo de procesamiento del lenguaje natural, particularmente en el entrenamiento y la evaluación de sistemas de traducción desarrollados con enfoques de Deep learning como los modelos basados en Transformer (architecture). También se ha adaptado para otras tareas de generación, incluido el resumen de textos y la generación de subtítulos de imágenes, a pesar de su diseño original para la traducción. La influencia de la métrica se extiende más allá de la academia; los principales laboratorios y empresas de IA, incluyendo OpenAI, Google DeepMind y Anthropic, han utilizado BLEU o sus variantes al evaluar modelos generativos.
Las implementaciones estándar, como las de la biblioteca NLTK (Natural Language Toolkit), proporcionan funciones fáciles de usar para calcular puntuaciones BLEU. Esta accesibilidad ha consolidado su papel como métrica predeterminada en las evaluaciones de procesamiento del lenguaje natural. Sin embargo, los investigadores han señalado que BLEU no captura bien la equivalencia semántica; dos traducciones con significado idéntico pero diferentes elecciones de palabras pueden recibir puntuaciones bajas a pesar de ser de alta calidad. Esta limitación ha llevado al desarrollo de alternativas, pero BLEU sigue siendo una línea de base fundamental en la evaluación de la traducción automática.
Limitaciones y críticas
BLEU tiene varias limitaciones conocidas. Ignora la corrección gramatical y no tiene en cuenta explícitamente el orden de las palabras más allá de la coincidencia de n-gramas. También falla en reconocer sinónimos o paráfrasis que no coinciden con la redacción de la referencia. Estas debilidades pueden llevar a casos donde una traducción es precisa pero obtiene una puntuación baja, o donde una traducción defectuosa con alta superposición léxica obtiene una buena puntuación.
Además, las puntuaciones BLEU son sensibles al número y la calidad de las traducciones de referencia. Los sistemas pueden optimizar para BLEU favoreciendo frases comunes, a veces a expensas de la fluidez o la adecuación. A pesar de estos problemas, BLEU correlaciona razonablemente con el juicio humano a nivel de corpus y sigue siendo ampliamente utilizado para comparaciones rápidas de sistemas, aunque métricas más nuevas lo complementan o reemplazan cada vez más en entornos de investigación.
Aplicaciones y limitaciones
La aplicación principal de BLEU es la evaluación de sistemas de traducción automática, desde los primeros modelos estadísticos basados en frases hasta los enfoques modernos basados en Neural network y Transformer (architecture). También se ha adaptado para tareas como el resumen de textos y la generación de subtítulos de imágenes. Su bajo costo computacional lo hace ideal para el desarrollo iterativo, donde miles de traducciones deben puntuarse rápidamente durante los bucles de entrenamiento de Deep learning.
Sin embargo, BLEU tiene limitaciones conocidas. No captura la equivalencia semántica, por lo que las paráfrasis con diferentes elecciones de palabras pueden obtener puntuaciones bajas. También tiene dificultades con idiomas morfológicamente ricos y no tiene en cuenta el orden de las palabras más allá de la adyacencia de n-gramas. Estas deficiencias han impulsado el desarrollo de métricas alternativas, aunque BLEU sigue siendo una referencia de línea de base en la mayoría de la investigación de traducción con modelos de lenguaje grandes y Neural network.
Aplicaciones y limitaciones
BLEU se usa ampliamente en la investigación académica y la industria para comparar sistemas de traducción, incluidos aquellos construidos sobre arquitecturas Transformer (architecture) y modelos de lenguaje grandes. Sirve como una verificación rápida de regresión durante el desarrollo del modelo, complementando la evaluación humana. Sin embargo, BLEU tiene limitaciones conocidas: correlaciona imperfectamente con los juicios humanos, especialmente para idiomas morfológicamente ricos o cuando las paráfrasis son válidas. También recompensa la superposición léxica sobre la equivalencia semántica, una brecha que métricas posteriores como METEOR y ROUGE buscaron abordar, aunque BLEU sigue siendo el más citado.
A pesar de estos inconvenientes, la simplicidad y reproducibilidad de BLEU han asegurado su uso continuo en la investigación de traducción automática y en tareas relacionadas. Su papel en el campo es fundamental, influyendo en el diseño de protocolos de evaluación para sistemas de traducción basados en Neural network y más allá.