"Attention Is All You Need" é o artigo de pesquisa de 2017 que introduziu a arquitetura Transformer, um design de rede neural construído inteiramente em torno de mecanismos de atenção em vez de recorrência ou convolução. Publicado como um preprint no arXiv em 12 de junho de 2017 e apresentado na conferência NeurIPS no final daquele ano, foi escrito por oito pesquisadores da Google: Ashish Vaswani, Noam Shazeer, Aidan Gomez, Illia Polosukhin, Jakob Uszkoreit, Llion Jones, Lukasz Kaiser e Niki Parmar. Está entre os artigos mais citados em ciência da computação e é amplamente considerado a publicação mais consequente no desenvolvimento dos grandes modelos de linguagem modernos.
Contexto
Antes do Transformer, os sistemas de processamento de linguagem natural de última geração para tarefas como tradução automática dependiam de arquiteturas recorrentes, frequentemente LSTMs, que processavam texto sequencialmente e eram aprimoradas com camadas de atenção emprestadas de trabalhos anteriores de sequência a sequência. O processamento sequencial era lento para treinar e tinha dificuldade em capturar dependências de longo alcance. Os autores propuseram substituir a recorrência inteiramente por autoatenção, permitindo que o modelo avaliasse a relevância de cada token em uma sequência para todos os outros tokens em paralelo, o que acelerou o treinamento em GPUs e melhorou a modelagem de estrutura de longo alcance.
Arquitetura e impacto
O design do artigo, uma pilha codificador-decodificador de camadas de autoatenção e feed-forward com codificações posicionais substituindo a recorrência, tornou-se o modelo para quase todos os principais modelos que se seguiram. O BERT adaptou o lado do codificador para compreensão de linguagem, enquanto modelos estilo GPT adotaram variantes apenas com decodificador treinadas por meio de previsão do próximo token. A arquitetura provou ser excepcionalmente fácil de escalar, alimentando diretamente a pesquisa de leis de escalonamento que mostrou ganhos de desempenho previsíveis com mais dados, parâmetros e computação, e posteriormente sustentou modelos de fundação em texto, visão, áudio e domínios multimodais.
Legado
Um fato frequentemente repetido sobre o artigo é que todos os oito autores originais eventualmente deixaram o Google para fundar ou se juntar a outras empresas de IA. Noam Shazeer cofundou a Character.AI antes de retornar ao Google, e Aidan Gomez tornou-se diretor executivo da Cohere. A contagem de citações do artigo cresceu para dezenas de milhares em menos de uma década após a publicação, e o Transformer permanece, em meados da década de 2020, a arquitetura dominante por trás dos modelos de fronteira, mesmo enquanto pesquisadores continuam explorando alternativas, como modelos de espaço de estado, para compensações específicas de eficiência.