« Attention Is All You Need » est un article de recherche de 2017 sur l'apprentissage automatique, rédigé par huit scientifiques et ingénieurs travaillant chez Google. L'article a introduit une nouvelle architecture d'apprentissage profond connue sous le nom de transformeur, basée sur le mécanisme d'attention proposé en 2014 par Bahdanau et al. L'approche du transformeur qu'il décrit est devenue l'architecture principale d'une grande variété de systèmes d'intelligence artificielle, y compris les grands modèles de langage. À l'époque, l'accent de la recherche était mis sur l'amélioration des techniques Seq2seq pour la traduction automatique, mais les auteurs sont allés plus loin dans l'article, prévoyant le potentiel de cette technique pour d'autres tâches comme la réponse aux questions et ce que l'on appelle aujourd'hui l'IA générative multimodale.
Parmi les premiers exemples sur lesquels l'équipe a testé son architecture de transformeur figuraient la traduction de l'anglais vers l'allemand, la génération d'articles Wikipédia sur « Le Transformeur » et l'analyse syntaxique. Ces essais ont convaincu l'équipe que le transformeur est un modèle de langage à usage général, et pas seulement bon pour la traduction. En 2026, l'article a été cité plus de 250 000 fois, ce qui le place parmi les dix articles les plus cités du XXIe siècle. Après la publication de l'article par Google, chacun des huit auteurs a quitté l'entreprise pour rejoindre d'autres sociétés ou fonder des startups.
Contexte
Les auteurs de l'article sont Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan Gomez, Lukasz Kaiser et Illia Polosukhin. Les huit auteurs ont été « contributeurs égaux » à l'article ; l'ordre de la liste a été randomisé (selon l'article lui-même). Après l'article, chacun des auteurs a quitté Google pour rejoindre d'autres entreprises ou fonder des startups.
Le titre de l'article fait référence à la chanson « All You Need Is Love » des Beatles. Le nom « Transformeur » a été choisi parce que Jakob Uszkoreit, l'un des auteurs de l'article, aimait la sonorité de ce mot. Un document de conception précoce était intitulé « Transformers: Iterative Self-Attention and Processing for Various Tasks » et comprenait une illustration de six personnages de la franchise Transformers. L'équipe a été nommée Team Transformer.
Méthodes discutées et introduites
L'article est surtout connu pour avoir introduit l'architecture du transformeur, qui sous-tend la plupart des grands modèles de langage (LLM) modernes. Une raison clé pour laquelle cette architecture est préférée par la plupart des LLM modernes est sa parallélisabilité par rapport à ses prédécesseurs. Cela garantit que les opérations nécessaires à l'entraînement peuvent être accélérées sur un GPU, permettant à la fois des temps d'entraînement plus rapides et l'entraînement de modèles de plus grande taille.
L'article a introduit les mécanismes suivants dans le cadre du développement de l'architecture du transformeur.
Attention produit scalaire mise à l'échelle et auto-attention
L'utilisation du mécanisme d'attention produit scalaire mise à l'échelle et d'auto-attention au lieu d'un réseau de neurones récurrent (RNN) ou d'une mémoire à long terme à court terme (qui reposent sur la récurrence) permet de meilleures performances, comme décrit dans le paragraphe suivant. L'article a décrit l'attention produit scalaire mise à l'échelle comme suit :
Attention(Query, Key, Value) := softmax(Query × Key^T / sqrt(d_k)) × Value
où Query, Key, Value sont respectivement les matrices de requête, de clé et de valeur, et d_k est la dimension des valeurs. Étant donné que le modèle repose sur des matrices Query, Key et Value provenant de la même source (c'est-à-dire la séquence d'entrée ou la fenêtre de contexte), cela élimine le besoin de RNN, garantissant complètement la parallélisabilité de l'architecture. Cela diffère de la forme originale du mécanisme d'attention introduit en 2014. De plus, l'article discute de l'utilisation d'un facteur de mise à l'échelle supplémentaire qui s'est avéré le plus efficace par rapport à la dimension des vecteurs de clé (représentée par d_k et initialement fixée à 64 dans l'article) de la manière indiquée ci-dessus. Dans le contexte spécifique de la traduction, sur lequel l'article se concentrait, les matrices Query et Key sont généralement représentées dans des plongements correspondant à la langue source, tandis que la matrice Value correspond à la langue cible.
Attention multi-têtes
Dans le mécanisme d'auto-attention, les requêtes (Q), les clés (K) et les valeurs (V) sont générées dynamiquement pour chaque séquence d'entrée (généralement limitée par la taille de la fenêtre de contexte), permettant au modèle de se concentrer sur différentes parties de la séquence d'entrée à différentes étapes. L'attention multi-têtes améliore ce processus en introduisant plusieurs têtes d'attention parallèles. Chaque tête d'attention apprend différentes projections linéaires des matrices Q, K et V. Cela permet au modèle de capturer simultanément différents aspects des relations entre les mots de la séquence, plutôt que de se concentrer sur un seul aspect. Ce faisant, le modèle peut prêter attention à des informations provenant de différents sous-espaces de représentation à différentes positions, ce qui améliore sa capacité à gérer des modèles linguistiques complexes.
Encodage positionnel
L'article a introduit l'encodage positionnel pour injecter des informations sur la position des jetons dans la séquence, car l'architecture ne traite pas intrinsèquement les jetons dans l'ordre. Les auteurs ont proposé d'utiliser des fonctions sinus et cosinus de différentes fréquences pour encoder les positions, permettant au modèle d'apprendre les positions relatives. Ce mécanisme est devenu standard dans les modèles basés sur le transformeur, bien que des variantes ultérieures aient exploré des plongements appris ou d'autres approches.
Autres innovations
L'article a également discuté de l'utilisation de la normalisation de couche et des connexions résiduelles pour stabiliser l'entraînement, ainsi que du décrochage pour la régularisation. Ces composants, combinés aux mécanismes d'attention, ont formé la base du bloc de transformeur. Les auteurs ont entraîné leurs modèles sur des tâches de traduction automatique, obtenant des résultats de pointe avec des temps d'entraînement plus rapides par rapport aux modèles récurrents.
Impact et héritage
Après sa publication, l'architecture du transformeur est rapidement devenue l'approche dominante en traitement du langage naturel. Elle sous-tend des systèmes majeurs développés par des organisations telles que OpenAI, Google DeepMind et Anthropic, y compris des grands modèles de langage comme GPT et BERT. L'architecture a également été appliquée au-delà du texte, influençant des domaines tels que la vision par ordinateur et le traitement audio. L'influence de l'article se reflète dans son nombre de citations, dépassant 250 000 en 2026, ce qui en fait l'un des travaux les plus cités en informatique.
Le départ des huit auteurs de Google peu après la publication a conduit à la fondation de plusieurs startups d'IA, notamment Cohere et Inceptive, et a contribué à la commercialisation plus large des technologies basées sur le transformeur. Le titre de l'article, faisant référence à la chanson des Beatles, et les conventions de nommage ludiques de l'équipe font désormais partie du folklore de l'IA.