BLEU (bilingual evaluation understudy) é um algoritmo para avaliar a qualidade de textos que foram traduzidos por máquina de uma língua natural para outra. A métrica opera sob o princípio de que uma tradução automática é melhor quanto mais próxima estiver de uma tradução humana profissional. Desenvolvida na IBM em 2001, a BLEU foi uma das primeiras métricas automatizadas a mostrar alta correlação com os julgamentos humanos de qualidade de tradução, mantendo sua popularidade devido ao seu baixo custo e rapidez.
As pontuações BLEU são calculadas para segmentos traduzidos individuais - geralmente frases - comparando-os com um conjunto de traduções de referência de alta qualidade. Essas pontuações de segmento são então calculadas em média sobre todo o corpus para estimar a qualidade geral da tradução. A métrica não considera inteligibilidade ou correção gramatical diretamente. Sua saída é sempre um número entre 0 e 1, onde valores mais próximos de 1 indicam maior similaridade com as traduções de referência. Poucas traduções humanas alcançam um 1,0 perfeito, pois isso exigiria uma correspondência exata com uma referência, e adicionar mais traduções de referência aumenta a chance de correspondências e, portanto, a pontuação.
Definição Matemática
A pontuação BLEU compara uma string candidata ŷ com uma lista de strings de referência (y^(1), ..., y^(N)). A pontuação se aproxima de 1 quando o candidato se assemelha muito às referências e de 0 quando não se assemelha. Uma analogia útil é a de um professor de idiomas avaliando a tradução de um aluno comparando-a com respostas de referência.
Para um corpus de M strings candidatas, cada uma com seu próprio conjunto de traduções de referência, a BLEU calcula uma pontuação de precisão modificada baseada em n-gramas. Um n-grama é uma sequência contígua de n palavras de um texto. A métrica conta quantos n-gramas na tradução candidata aparecem em qualquer uma das traduções de referência, mas limita a contagem para evitar a contagem excessiva de n-gramas repetidos.
Precisão modificada
A precisão modificada para n-gramas (tipicamente n = 1 a 4) é calculada tomando o número de n-gramas candidatos que correspondem a qualquer n-grama de referência e dividindo pelo número total de n-gramas candidatos. A penalidade de brevidade aborda a tendência de traduções mais curtas alcançarem pontuações de precisão artificialmente altas. Ela penaliza candidatos mais curtos que suas referências.
A pontuação BLEU final é a média geométrica das precisões de n-gramas multiplicada pela penalidade de brevidade. A prática comum usa um peso uniforme sobre n-gramas de ordens 1 a 4.
== História ==
Kishore Papineni, Salim Roukos, Todd Ward e Wei-Jing Zhu desenvolveram a BLEU enquanto trabalhavam no Thomas J. Watson Research Center da IBM. Eles a publicaram em 2002 na Reunião Anual da Associação de Linguística Computacional (ACL). A métrica surgiu como um dos primeiros métodos de avaliação automatizada com alegada alta correlação com o julgamento humano de qualidade de tradução. Sua introdução atendeu à necessidade de uma alternativa rápida e barata à avaliação humana, que era cara e lenta. A BLEU rapidamente se tornou um padrão de referência em pesquisa de Machine learning e processamento de linguagem natural, sendo amplamente adotada em artigos acadêmicos e avaliações da indústria.
Base matemática
As pontuações BLEU são calculadas por segmento, tipicamente uma frase, comparando a tradução candidata com uma ou mais traduções de referência. O algoritmo calcula uma precisão de n-gramas modificada: conta o número de n-gramas (sequências contíguas de n palavras) no candidato que aparecem em qualquer tradução de referência, com um mecanismo de limitação que evita a contagem excessiva quando um candidato repete um n-grama mais vezes do que ele ocorre em uma referência. Essa precisão é calculada para uma variedade de comprimentos de n-gramas, comumente de 1 a 4.
Uma penalidade de brevidade é aplicada à pontuação para desencorajar candidatos que são curtos demais em relação às referências, porque saídas curtas poderiam, de outra forma, alcançar alta precisão incluindo apenas palavras que correspondem. A penalidade de brevidade é calculada a partir da razão entre o comprimento do candidato e o comprimento efetivo da referência, garantindo que traduções incompletas sejam penalizadas. A pontuação BLEU final é uma média geométrica das precisões de n-gramas modificadas multiplicada por esse fator de penalidade de brevidade.
A saída sempre cai entre 0 e 1, mantendo sua popularidade devido ao baixo custo e rapidez de computação. Poucas traduções humanas alcançam uma pontuação perfeita de 1, pois isso indicaria que o candidato é idêntico a uma das traduções de referência. Como há mais oportunidades de correspondências de n-gramas, incluir mais traduções de referência geralmente aumentará a pontuação BLEU.
História e Desenvolvimento
A BLEU foi introduzida em 2001 por pesquisadores da IBM, incluindo Kishore Papineni, Salim Roukos, Todd Ward e Wei-Jing Zhu. A métrica foi projetada para atender à necessidade de um método de avaliação barato e independente de idioma para tradução automática, substituindo a avaliação humana cara e lenta. O nome, bilingual evaluation understudy, reflete seu papel como substituto dos juízes humanos.
A introdução da métrica coincidiu com o crescente interesse em tradução automática estatística, onde a iteração rápida exigia uma maneira automatizada de comparar saídas de sistemas. A simplicidade da BLEU e sua forte correlação com o julgamento humano a tornaram um padrão de referência no campo por anos.
Precisão de N-gramas e Penalidade de Brevidade
A BLEU calcula a precisão para n-gramas de comprimentos variados, tipicamente de 1 a 4. A precisão modificada para cada ordem de n-grama conta o número máximo de vezes que um n-grama aparece em qualquer referência individual, limitando a contagem do candidato a esse máximo. Isso evita que traduções excessivamente longas ou repetitivas manipulem a pontuação.
Uma penalidade de brevidade é aplicada a traduções candidatas mais curtas que suas contrapartes de referência. Se o candidato for mais longo que a referência, a penalidade é 1; caso contrário, ela diminui exponencialmente com a razão de comprimento. Essa penalidade desencoraja traduções incompletas que poderiam, de outra forma, alcançar alta precisão.
Média Geométrica e Faixa de Pontuação
A pontuação BLEU final combina as precisões modificadas entre ordens de n-gramas usando uma média geométrica, tipicamente para n = 1 a 4. A penalidade de brevidade multiplica essa média. As pontuações BLEU tipicamente caem entre 0 e 1, embora sejam frequentemente relatadas como porcentagens em uma escala de 0 a 100. Pontuações acima de 0,4 são geralmente consideradas traduções de alta qualidade, mas a escala não é absoluta e depende fortemente do par de idiomas e do domínio.
Aplicações e Limitações
A BLEU continua sendo uma das métricas mais amplamente utilizadas na pesquisa de tradução automática. Ela tem sido empregada para avaliar sistemas em artigos acadêmicos, benchmarks da indústria e tarefas compartilhadas. A métrica também é usada em campos além da tradução, como sumarização de texto e legendagem de imagens, onde textos de referência servem como verdade fundamental.
Críticos observam que a BLEU não mede diretamente inteligibilidade ou correção gramatical. Um candidato fluente, mas semanticamente diferente da referência, pode pontuar baixo, enquanto um candidato estranho, mas que compartilha n-gramas, pode pontuar mais alto. A correspondência de n-gramas da métrica é puramente um espelhamento lexical, então paráfrases e sinonímia são penalizadas mesmo quando o significado é preservado. A correlação com o julgamento humano é forte no nível do corpus, mas mais fraca para frases individuais.
Aplicações e Limitações
A BLEU continua sendo uma das métricas automatizadas mais populares em pesquisa de Machine learning e no desenvolvimento de sistemas de tradução baseados em Large language model. Ela é frequentemente usada para comparar iterações de modelos no desenvolvimento de Artificial intelligence e para ajustar hiperparâmetros em modelos de Neural network. Seu baixo custo computacional a torna adequada para avaliação em larga escala durante ciclos de treinamento e desenvolvimento.
As limitações incluem sensibilidade à qualidade das traduções de referência, nenhuma consideração de equivalência semântica e a necessidade de múltiplas referências para pontuações confiáveis. A BLEU também tende a favorecer traduções que espelham de perto a fraseologia da referência, potencialmente penalizando traduções alternativas válidas. Métricas subsequentes, como METEOR e ROUGE, tentaram abordar algumas dessas deficiências, embora a BLEU continue sendo uma linha de base amplamente citada em pesquisa de Machine learning.
Aplicações e Influência
A BLEU é usada em todo o campo de processamento de linguagem natural, particularmente no treinamento e avaliação de sistemas de tradução desenvolvidos com abordagens de Deep learning, como modelos baseados em Transformer (architecture). Ela também foi adaptada para outras tarefas de geração, incluindo sumarização de texto e legendagem de imagens, apesar de seu design original para tradução. A influência da métrica se estende além da academia; grandes laboratórios e empresas de IA, incluindo OpenAI, Google DeepMind e Anthropic, usaram a BLEU ou suas variantes ao avaliar modelos generativos.
Implementações padrão, como aquelas na biblioteca NLTK (Natural Language Toolkit), fornecem funções fáceis de usar para calcular pontuações BLEU. Essa acessibilidade consolidou seu papel como métrica padrão em avaliações de processamento de linguagem natural. No entanto, pesquisadores observaram que a BLEU não captura bem a equivalência semântica; duas traduções com significado idêntico, mas escolhas de palavras diferentes, podem receber pontuações baixas apesar de serem de alta qualidade. Essa limitação levou ao desenvolvimento de alternativas, mas a BLEU continua sendo uma linha de base fundamental na avaliação de tradução automática.
Limitações e Críticas
A BLEU tem várias limitações conhecidas. Ela ignora a correção gramatical e não leva em conta explicitamente a ordem das palavras além da correspondência de n-gramas. Ela também falha em reconhecer sinônimos ou paráfrases que não correspondem à redação da referência. Essas fraquezas podem levar a casos em que uma tradução é precisa, mas pontua mal, ou onde uma tradução falha com alta sobreposição lexical pontua bem.
Além disso, as pontuações BLEU são sensíveis ao número e à qualidade das traduções de referência. Sistemas podem otimizar para BLEU favorecendo frases comuns, às vezes às custas da fluência ou adequação. Apesar dessas questões, a BLEU correlaciona razoavelmente com o julgamento humano no nível do corpus e continua sendo amplamente usada para comparações rápidas de sistemas, embora métricas mais novas cada vez mais a complementem ou substituam em ambientes de pesquisa.
Aplicações e Limitações
A principal aplicação da BLEU é na avaliação de sistemas de tradução automática, desde os primeiros modelos estatísticos baseados em frases até abordagens modernas baseadas em Neural network e Transformer (architecture). Ela também foi adaptada para tarefas como sumarização de texto e legendagem de imagens. Seu baixo custo computacional a torna ideal para desenvolvimento iterativo, onde milhares de traduções devem ser pontuadas rapidamente durante loops de treinamento de Deep learning.
No entanto, a BLEU tem limitações conhecidas. Ela não captura equivalência semântica, então paráfrases com escolhas de palavras diferentes podem pontuar mal. Ela também tem dificuldades com línguas morfologicamente ricas e não leva em conta a ordem das palavras além da adjacência de n-gramas. Essas deficiências impulsionaram o desenvolvimento de métricas alternativas, embora a BLEU continue sendo uma referência de linha de base na maioria das pesquisas de tradução com modelos de linguagem de grande porte e Neural network.
Aplicações e Limitações
A BLEU é amplamente usada em pesquisa acadêmica e na indústria para comparar sistemas de tradução, incluindo aqueles construídos em arquiteturas de Transformer (architecture) e modelos de linguagem de grande porte. Ela serve como uma verificação rápida de regressão durante o desenvolvimento de modelos, complementando a avaliação humana. No entanto, a BLEU tem limitações conhecidas: correlaciona imperfeitamente com julgamentos humanos, especialmente para línguas morfologicamente ricas ou quando paráfrases são válidas. Ela também recompensa a sobreposição lexical em detrimento da equivalência semântica, uma lacuna que métricas posteriores como METEOR e ROUGE procuraram abordar, embora a BLEU continue sendo a mais citada.
Apesar dessas desvantagens, a simplicidade e reprodutibilidade da BLEU garantiram seu uso contínuo na pesquisa de tradução automática e em tarefas relacionadas. Seu papel no campo é fundamental, influenciando o design de protocolos de avaliação para sistemas de tradução baseados em Neural network e além.