O Google Neural Machine Translation (GNMT) foi um sistema de tradução automática neural desenvolvido pelo Google e introduzido em novembro de 2016. Ele utilizava uma rede neural artificial para aumentar a fluência e a precisão do Google Tradutor, substituindo os métodos anteriores de tradução estatística. O sistema foi projetado para traduzir frases inteiras de uma só vez, aproveitando o aprendizado profundo para melhorar a qualidade da tradução. Em 2020, o GNMT foi substituído por um sistema de aprendizado profundo mais recente, baseado em um codificador Transformer e um decodificador RNN.
A arquitetura do GNMT consistia em dois blocos principais: um codificador e um decodificador, ambos baseados em redes LSTM (Long Short-Term Memory). Cada bloco possuía 8 camadas com 1024 unidades por camada, e um mecanismo de atenção feedforward simples de 1 camada e 1024 unidades conectava os dois blocos. O número total de parâmetros foi relatado de diversas formas: mais de 160 milhões, aproximadamente 210 milhões, 278 milhões ou 380 milhões. O sistema utilizava um tokenizador WordPiece e uma estratégia de decodificação por busca em feixe, e era executado em Unidades de Processamento Tensorial (TPUs).
História
O projeto Google Brain, que estabeleceu as bases para o GNMT, foi criado em 2011 no laboratório de pesquisa Google X por Jeff Dean (Google Fellow), Greg Corrado (pesquisador do Google) e Andrew Ng (professor da Universidade de Stanford). Em novembro de 2016, o GNMT foi introduzido, e o Google Tradutor passou a usar a tradução automática neural em vez dos métodos estatísticos anteriores, que estavam em uso desde outubro de 2007.
Treinar o GNMT foi um esforço computacional significativo. De acordo com uma estimativa de 2018 da OpenAI, o treinamento exigiu cerca de 79 petaFLOP-dias (ou 7e21 FLOPs) de computação, o que era 1,5 ordem de grandeza maior do que o modelo Seq2seq de 2014, mas cerca de 2 vezes menor do que o GPT-J-6B de 2021.
O novo mecanismo foi inicialmente habilitado para oito idiomas: inglês, francês, alemão, espanhol, português, chinês, japonês, coreano e turco. Em março de 2017, foi adicionado suporte para russo, hindi, vietnamita e tailandês. Hebraico e árabe foram adicionados mais tarde naquele mês, com a ajuda da comunidade do Google Tradutor. Em meados de abril de 2017, o holandês e outros idiomas europeus relacionados ao inglês foram suportados. No final de abril de 2017, nove idiomas indianos foram adicionados: hindi, bengali, marata, gujarati, punjabi, tâmil, telugo, malaiala e canarês.
Em 2020, o Google descontinuou o GNMT, substituindo-o por um sistema de rede neural baseado em Transformer.
Tecnologia
O GNMT usava um método de tradução automática baseado em exemplos, aprendendo com milhões de exemplos de tradução de idiomas. A arquitetura do sistema foi testada pela primeira vez em mais de cem idiomas suportados pelo Google Tradutor. Com uma estrutura abrangente de ponta a ponta, o sistema aprendia ao longo do tempo a criar traduções melhores e mais naturais. O GNMT tentava traduzir frases inteiras de uma só vez, em vez de palavra por palavra, e podia realizar tradução interlingual codificando a semântica da frase, em vez de memorizar traduções frase por frase.
A rede neural foi treinada usando técnicas de aprendizado profundo, e seu design se baseou em insights da psicologia e da linguística para encontrar semelhanças entre idiomas. Ela não criava uma interlíngua universal, mas buscava codificar o significado de uma forma independente do idioma.
Avaliação
O GNMT representou uma melhoria em relação ao antigo Google Tradutor, pois podia lidar com a "tradução zero-shot", traduzindo diretamente de um idioma para outro sem passar pelo inglês. Por exemplo, se treinado com pares japonês-inglês e coreano-inglês, o sistema conseguia realizar tradução japonês-coreano. O sistema parecia aprender uma representação intermediária independente do idioma, o que possibilitava essa capacidade. Anteriormente, o Google Tradutor primeiro traduzia o idioma de origem para o inglês e depois para o idioma de destino.
Um estudo de julho de 2019 nos Anais de Medicina Interna (Annals of Internal Medicine) descobriu que o "Google Tradutor é uma ferramenta viável e precisa para traduzir ensaios clínicos que não estão em inglês". Houve apenas uma discordância entre os revisores que leram as traduções automáticas, devido a um erro de tradução. Como muitos estudos médicos são excluídos de revisões sistemáticas devido a barreiras linguísticas, o GNMT tinha o potencial de reduzir o viés e melhorar a precisão dessas revisões.
Legado
O GNMT foi um marco na aplicação do aprendizado profundo à tradução automática, demonstrando a eficácia de abordagens baseadas em redes neurais em comparação com métodos estatísticos tradicionais. Sua arquitetura influenciou desenvolvimentos posteriores em modelos Transformer, que mais tarde se tornaram fundamentais em modelos de linguagem de grande escala. O uso de unidades de processamento tensorial pelo sistema também destacou a importância de hardware especializado para cargas de trabalho de IA. Em 2020, a mudança para modelos baseados em Transformer marcou a próxima evolução na tecnologia de tradução, aproveitando a base estabelecida pelo GNMT.