BLEU (bilingual evaluation understudy) é um algoritmo para avaliar a qualidade de texto que foi traduzido por máquina de um idioma natural para outro. A qualidade é considerada como a correspondência entre a saída de uma máquina e a de um humano: "quanto mais próxima uma tradução automática estiver de uma tradução humana profissional, melhor ela é" - esta é a ideia central por trás do BLEU. Inventado na IBM em 2001, o BLEU foi uma das primeiras métricas a afirmar uma alta correlação com julgamentos humanos de qualidade, e continua sendo uma das métricas automatizadas e baratas mais populares.
As pontuações são calculadas para segmentos traduzidos individuais - geralmente frases - comparando-os com um conjunto de traduções de referência de boa qualidade. Essas pontuações são então calculadas em média sobre todo o corpus para chegar a uma estimativa da qualidade geral da tradução. Inteligibilidade ou correção gramatical não são levadas em consideração. A saída do BLEU é sempre um número entre 0 e 1, indicando quão semelhante o texto candidato é aos textos de referência, com valores mais próximos de 1 representando textos mais semelhantes. Poucas traduções humanas alcançarão uma pontuação de 1, pois isso indicaria que o candidato é idêntico a uma das traduções de referência. Por esse motivo, não é necessário atingir uma pontuação de 1. Como há mais oportunidades de correspondência, adicionar traduções de referência adicionais aumentará a pontuação BLEU.
Contexto Histórico
O BLEU foi desenvolvido por pesquisadores da IBM, incluindo Kishore Papineni, Salim Roukos, Todd Ward e Wei-Jing Zhu, que publicaram a métrica em um artigo de 2002 intitulado "BLEU: a Method for Automatic Evaluation of Machine Translation." O trabalho surgiu da crescente necessidade de avaliação automatizada no campo do aprendizado de máquina e inteligência artificial, particularmente à medida que os sistemas de tradução automática se tornavam mais sofisticados. Antes do BLEU, a avaliação da tradução automática geralmente dependia de juízes humanos, o que era caro, demorado e difícil de replicar em diferentes estudos. O BLEU ofereceu uma alternativa barata, rápida e independente de idioma que poderia ser aplicada consistentemente a qualquer sistema de tradução.
A métrica foi introduzida durante um período em que a tradução automática estatística estava ganhando força, e rapidamente se tornou um padrão de referência no campo. Seu desenvolvimento estava intimamente ligado à divisão de pesquisa da IBM, que era um grande player no processamento de linguagem natural desde os anos 1980. O nome "bilingual evaluation understudy" reflete seu papel como um substituto para a avaliação humana, assim como um ator substituto que preenche o papel de um performer principal.
Definição Matemática
Configuração Básica
Uma tentativa básica e inicial de definir a pontuação BLEU levaria dois argumentos: uma string candidata e uma lista de strings de referência. A ideia é que a pontuação BLEU deve ser próxima de 1 quando o candidato é semelhante às referências, e próxima de 0 se não for. Como analogia, a pontuação BLEU é como um professor de idiomas tentando avaliar a qualidade de uma tradução de estudante verificando quão de perto ela segue as respostas de referência.
Como no processamento de linguagem natural, deve-se avaliar um grande conjunto de strings candidatas, deve-se generalizar a pontuação BLEU para o caso em que se tem uma lista de M strings candidatas (chamada de "corpus"), e para cada string candidata, uma lista de strings de referência. Dada qualquer string e qualquer inteiro n ≥ 1, o conjunto de seus n-gramas é definido como o conjunto de sequências contíguas únicas de n palavras. Por exemplo, os 2-gramas da string "the cat sat" seriam {"the cat", "cat sat"}.
Precisão e Precisão Modificada
O núcleo do BLEU é uma forma modificada de precisão. A precisão padrão contaria o número de n-gramas no candidato que aparecem em qualquer referência, dividido pelo número total de n-gramas no candidato. No entanto, isso pode ser inflado pela repetição de palavras comuns. O BLEU usa uma precisão limitada: para cada n-grama no candidato, sua contagem é limitada ao número máximo de vezes que aparece em qualquer referência única. Isso evita a contagem excessiva e garante que a pontuação reflita a correspondência genuína.
Para cada ordem de n-grama n (tipicamente 1 a 4), a precisão modificada é calculada como a soma das contagens limitadas sobre todas as frases candidatas, dividida pela soma das contagens totais de n-gramas em todos os candidatos. Isso é frequentemente denotado como p_n.
Penalidade de Brevidade
Um componente crítico do BLEU é a penalidade de brevidade, que aborda o problema de traduções curtas. Um sistema poderia alcançar alta precisão emitindo apenas algumas palavras que coincidem com as referências, mas tal tradução seria incompleta. A penalidade de brevidade é calculada com base na razão entre o comprimento total do corpus candidato e o comprimento total do corpus de referência. Se o candidato for mais curto que a referência, a penalidade reduz a pontuação; se for mais longo, nenhuma penalidade é aplicada. A fórmula é: BP = 1 se c > r, e BP = exp(1 - r/c) se c ≤ r, onde c é o comprimento do candidato e r é o comprimento efetivo da referência (a soma dos comprimentos de referência mais próximos do comprimento de cada candidato).
Pontuação Final
A pontuação final do BLEU é o produto da penalidade de brevidade e da média geométrica das precisões modificadas para n-gramas de ordens 1 a N (geralmente N=4). A média geométrica é ponderada igualmente, e o resultado é um valor entre 0 e 1. Na prática, as pontuações são frequentemente relatadas como porcentagens (por exemplo, BLEU 30 significa 0,30). A fórmula é: BLEU = BP exp(Σ_{n=1}^{N} (1/N) log p_n).
Aplicações em Tradução Automática
O BLEU foi originalmente projetado para avaliar sistemas de tradução automática, e continua sendo uma métrica padrão nesse domínio. Grupos de pesquisa e empresas que desenvolvem sistemas de tradução, desde modelos estatísticos iniciais até abordagens modernas baseadas em redes neurais, usaram o BLEU para comparar suas saídas com traduções de referência. Por exemplo, sistemas de Google DeepMind e outras organizações relataram pontuações BLEU em artigos acadêmicos para demonstrar melhorias em relação às linhas de base.
A métrica é particularmente útil para iteração rápida durante o desenvolvimento. Os desenvolvedores podem executar o BLEU em um conjunto de teste após cada mudança em um modelo, permitindo que acompanhem o progresso sem precisar de anotadores humanos. Isso tornou o BLEU um padrão de facto no campo, apesar de suas limitações conhecidas.
Uso em Geração de Texto e Modelos de Linguagem de Grande Escala
Além da tradução automática, o BLEU foi adaptado para avaliar outras tarefas de geração de texto, incluindo sumarização, sistemas de diálogo e legendagem de imagens. Com o surgimento de modelos de linguagem de grande escala, como os desenvolvidos por OpenAI e Anthropic, o BLEU tem sido usado como uma das várias métricas automatizadas para avaliar a qualidade da saída. No entanto, sua aplicabilidade à geração aberta é debatida, pois o BLEU recompensa a sobreposição exata de n-gramas com referências, o que pode não capturar a equivalência semântica.
Em tarefas como sumarização, o BLEU é frequentemente usado junto com outras métricas, como ROUGE. Para sistemas de diálogo, o BLEU pode ser enganoso, pois há muitas respostas válidas para um prompt dado, e uma única referência pode não representar todas as possibilidades. Apesar desses problemas, o BLEU continua sendo uma maneira rápida e barata de obter uma estimativa aproximada da qualidade, e é frequentemente relatado em artigos de pesquisa como uma métrica de linha de base.
Limitações e Críticas
O BLEU tem várias limitações bem documentadas. Primeiro, ele não leva em conta inteligibilidade ou correção gramatical; uma tradução poderia pontuar alto se compartilhasse muitos n-gramas com referências, mas ainda assim ser agramatical. Segundo, é sensível à escolha das referências; diferentes conjuntos de referências podem produzir pontuações muito diferentes para o mesmo candidato. Terceiro, o BLEU tende a favorecer traduções que são lexicalmente semelhantes às referências, o que pode penalizar traduções válidas que usam palavras ou estrutura de frase diferentes.
Outra crítica é que o BLEU não lida bem com sinônimos ou paráfrases. Por exemplo, se uma referência diz "the cat sat on the mat" e um candidato diz "the feline rested on the rug," a pontuação BLEU seria baixa apesar da equivalência semântica. Isso levou ao desenvolvimento de métricas alternativas, como METEOR e ROUGE, que incorporam derivação e correspondência de sinônimos. No contexto de IA generativa, pesquisadores também notaram que o BLEU correlaciona mal com o julgamento humano para saídas criativas ou abertas.
Relação com Outras Métricas
O BLEU faz parte de uma família mais ampla de métricas de avaliação automatizada no processamento de linguagem natural. É orientado à precisão, focando em quanto do conteúdo do candidato aparece nas referências. Em contraste, ROUGE é orientado à revocação, medindo quanto do conteúdo da referência é capturado pelo candidato. METEOR combina precisão e revocação com correspondência de sinônimos e uma penalidade para diferenças na ordem das palavras. Essas métricas são frequentemente usadas juntas para fornecer uma avaliação mais abrangente.
No contexto de modelos baseados em transformadores e sistemas de aprendizado profundo, o BLEU tem sido usado como um objetivo de treinamento em algumas configurações de aprendizado por reforço, embora isso seja menos comum do que usá-lo puramente para avaliação. A simplicidade e eficiência computacional da métrica a tornam atraente para benchmarking em larga escala, como em tarefas compartilhadas organizadas por conferências acadêmicas.
Considerações Práticas
Ao usar o BLEU, vários fatores práticos afetam a pontuação. O número de traduções de referência importa: adicionar mais referências geralmente aumenta a pontuação porque há mais oportunidades para correspondências de n-gramas. O método de tokenização também influencia os resultados; por exemplo, se a pontuação é removida ou se o caso é normalizado pode mudar as contagens de n-gramas. Diferentes implementações podem produzir pontuações ligeiramente diferentes para os mesmos dados, então é importante relatar as configurações exatas usadas.
As pontuações BLEU não são comparáveis entre diferentes corpora ou idiomas. Uma pontuação de 0,40 em um conjunto de teste pode ser excelente, enquanto em outro pode ser medíocre. Portanto, o BLEU é melhor usado para comparações relativas entre sistemas nos mesmos dados, em vez de como uma medida absoluta de qualidade. Pesquisadores frequentemente relatam o BLEU junto com avaliação humana para validar descobertas.
Direções Futuras
À medida que inteligência artificial e aprendizado de máquina continuam a evoluir, o papel do BLEU está sendo reavaliado. Métricas mais novas, como BERTScore e COMET, usam embeddings de modelos pré-treinados para capturar similaridade semântica de forma mais eficaz. Essas métricas frequentemente correlacionam melhor com o julgamento humano, mas são mais caras computacionalmente. O BLEU, no entanto, continua sendo uma linha de base útil devido à sua simplicidade e interpretabilidade.
Na era dos modelos de linguagem de grande escala, a avaliação está cada vez mais focada em tarefas como seguir instruções e precisão factual, onde o BLEU é menos relevante. No entanto, o legado do BLEU como uma das primeiras métricas de avaliação automatizada moldou como o campo aborda a avaliação de qualidade. Seus princípios - comparar a saída da máquina com referências humanas - continuam a informar o design de novas métricas.