Tradução automática neural (NMT, do inglês Neural Machine Translation) é uma abordagem para tradução automática que utiliza uma rede neural artificial para prever a probabilidade de uma sequência de palavras, tipicamente modelando frases inteiras em um único modelo integrado. Diferentemente de métodos estatísticos anteriores, que dividiam frases em segmentos e aplicavam componentes separados, a NMT trata a tradução como um problema de aprendizado de ponta a ponta, no qual uma rede neural é treinada para mapear diretamente uma frase de origem para uma frase de destino. Essa abordagem tornou-se o paradigma dominante em tradução automática, capaz de produzir traduções que rivalizam com traduções humanas ao traduzir entre línguas de alto recurso sob condições específicas. No entanto, desafios permanecem, particularmente para línguas com dados de alta qualidade limitados, para a mudança de domínio entre dados de treinamento e textos do mundo real, e para uma tendência a produzir traduções literais.
Os sistemas de NMT atribuem uma probabilidade a traduções potenciais e buscam a saída mais provável. A maioria dos modelos é autorregressiva, o que significa que eles geram um token de destino por vez, condicionando cada previsão à frase de origem e aos tokens gerados anteriormente. A probabilidade de toda a tradução é o produto dessas probabilidades individuais de tokens. Arquiteturalmente, a maioria dos modelos de NMT segue um design codificador-decodificador: um codificador processa a frase de origem em uma representação vetorial ou matricial, e um decodificador gera a frase de destino token por token, usando essa representação e suas próprias saídas anteriores. Esse processo continua até que um token especial de fim de frase seja produzido.
Desenvolvimento Histórico
As raízes da NMT remontam ao final dos anos 1980. Em 1987, Robert B. Allen demonstrou uma rede neural feed-forward para traduzir frases em inglês geradas automaticamente, com um vocabulário limitado de 31 palavras, para o espanhol. Como a rede não possuía um mecanismo para lidar com sequências de comprimento variável, suas camadas de entrada e saída foram dimensionadas para acomodar as frases mais longas nas respectivas línguas. Allen também sugeriu o uso de modelos autoassociativos para codificação e decodificação.
Em 1991, Lonnie Chrisman estendeu esse trabalho treinando redes separadas de memória autoassociativa recursiva (RAAM, do inglês Recursive Auto-Associative Memory), desenvolvidas por Jordan B. Pollack, para as línguas de origem e destino. Essas redes codificavam frases de comprimento arbitrário em representações ocultas de tamanho fixo e as decodificavam de volta, com a restrição adicional de que as duas redes compartilhavam uma representação oculta, permitindo a tradução. Em 1997, Forcada e Ñeco simplificaram isso em uma memória heteroassociativa recursiva que treinava diretamente um codificador de origem e um decodificador de destino. Também em 1997, Castaño e Casacuberta usaram uma rede neural recorrente de Elman para uma tarefa de tradução em pequena escala.
Apesar desses avanços iniciais, os recursos computacionais da época eram insuficientes para os grandes conjuntos de dados necessários para a tradução no mundo real. Consequentemente, a tradução automática estatística tornou-se o estado da arte durante os anos 1990 e 2000.
Abordagens Híbridas
Durante a era da tradução automática estatística, alguns pesquisadores integraram métodos neurais ao quadro existente. Holger Schwenk e colegas, por exemplo, substituíram modelos tradicionais de linguagem n-gram por modelos de linguagem neurais e usaram redes feed-forward para estimar probabilidades de tradução de segmentos. Esses sistemas híbridos mantiveram a combinação log-linear de características típica das abordagens estatísticas, mas aproveitaram componentes neurais para melhorar subproblemas específicos.
O Avanço seq2seq
A era moderna da NMT de ponta a ponta começou em 2013 e 2014. Kalchbrenner e Blunsom usaram uma rede neural convolucional (CNN) para codificar a origem, enquanto Cho et al. e Sutskever et al. adotaram independentemente redes neurais recorrentes (RNNs). Todos os três usaram um decodificador RNN condicionado a uma codificação fixa da origem. No entanto, esses modelos tiveram desempenho ruim em frases mais longas, uma limitação abordada por Bahdanau et al. em 2014 com a introdução da atenção. Em cada etapa de decodificação, a atenção permitia que o decodificador se concentrasse em diferentes partes da frase de origem, calculando dinamicamente um vetor de contexto que melhorava a qualidade da tradução, especialmente para entradas mais longas.
Arquiteturas Modernas e Avanços
O mecanismo de atenção tornou-se um componente fundamental dos sistemas de NMT subsequentes. Em 2017, a arquitetura Transformer (architecture), introduzida por Vaswani et al., substituiu camadas recorrentes e convolucionais por mecanismos de atenção multi-cabeça, permitindo processamento paralelo e melhor tratamento de dependências de longo alcance. Os transformers rapidamente se tornaram o padrão para NMT e sustentaram o desenvolvimento de modelos de linguagem de grande porte, que melhoraram ainda mais as capacidades de tradução por meio de pré-treinamento em corpora vastos.
Os sistemas modernos de NMT frequentemente incorporam técnicas como busca em feixe para decodificação, aumento de dados para melhorar a robustez e poda de modelos para eficiência. Eles são implantados por grandes provedores de nuvem, incluindo Google Cloud, Amazon Web Services e Azure, bem como por empresas especializadas em IA. Apesar desses avanços, a NMT ainda enfrenta desafios com línguas de baixo recurso e adaptação de domínio, e suas saídas podem ser excessivamente literais, às vezes perdendo expressões idiomáticas ou nuances culturais.
Avaliação e Impacto
Os sistemas de NMT são tipicamente avaliados usando métricas automáticas como BLEU, que comparam traduções geradas com traduções de referência, embora a avaliação humana continue sendo importante para avaliar fluência e adequação. O impacto da NMT vai além das ferramentas de tradução; ela influenciou campos como IA generativa e inteligência artificial de forma mais ampla, demonstrando o poder do aprendizado de ponta a ponta. Em meados da década de 2020, a NMT continua evoluindo, com pesquisa focada em melhorar a eficiência, lidar com cenários multilíngues e integrar conhecimento externo para abordar suas limitações.