« Attention Is All You Need » est l'article de recherche de 2017 qui a introduit l'architecture Transformer, une conception de réseau neuronal entièrement basée sur des mécanismes d'attention plutôt que sur la récurrence ou la convolution. Publié comme prépublication arXiv le 12 juin 2017 et présenté à la conférence NeurIPS plus tard cette année-là, il a été rédigé par huit chercheurs de Google : Ashish Vaswani, Noam Shazeer, Aidan Gomez, Illia Polosukhin, Jakob Uszkoreit, Llion Jones, Lukasz Kaiser et Niki Parmar. Il figure parmi les articles les plus cités en informatique et est largement considéré comme la publication la plus déterminante dans le développement des grands modèles de langage modernes.
Contexte
Avant le Transformer, les systèmes de traitement du langage naturel de pointe pour des tâches comme la traduction automatique reposaient sur des architectures récurrentes, souvent des LSTM, traitant le texte séquentiellement et enrichies de couches d'attention issues de travaux antérieurs sur les modèles séquence-à-séquence. Le traitement séquentiel était lent à entraîner et peinait à capturer les dépendances à longue portée. Les auteurs ont proposé de remplacer entièrement la récurrence par l'auto-attention, permettant au modèle de pondérer en parallèle la pertinence de chaque jeton d'une séquence par rapport à tous les autres, ce qui a accéléré l'entraînement sur GPU et amélioré la modélisation des structures à longue portée.
Architecture et impact
La conception de l'article, une pile encodeur-décodeur de couches d'auto-attention et de propagation avant avec des encodages positionnels remplaçant la récurrence, est devenue le modèle pour presque tous les grands modèles qui ont suivi. BERT a adapté le côté encodeur pour la compréhension du langage, tandis que les modèles de type GPT ont adopté des variantes décodeur seul entraînées par prédiction du jeton suivant. L'architecture s'est révélée exceptionnellement facile à mettre à l'échelle, alimentant directement les recherches sur les lois de mise à l'échelle qui ont montré des gains de performance prévisibles avec plus de données, de paramètres et de calcul, et a ensuite soutenu les modèles de fondation dans les domaines du texte, de la vision, de l'audio et du multimodal.
Héritage
Un fait souvent répété à propos de l'article est que les huit auteurs originaux ont finalement quitté Google pour fonder ou rejoindre d'autres entreprises d'IA. Noam Shazeer a cofondé Character.AI avant de revenir chez Google, et Aidan Gomez est devenu directeur général de Cohere. Le nombre de citations de l'article a atteint des dizaines de milliers en moins d'une décennie après sa publication, et le Transformer reste, au milieu des années 2020, l'architecture dominante derrière les modèles de frontière, même si les chercheurs continuent d'explorer des alternatives comme les modèles à espace d'états pour des compromis d'efficacité spécifiques.