Ashish Vaswani est un informaticien et l'auteur principal de « Attention Is All You Need » (2017), l'article écrit avec sept co-auteurs chez Google qui a introduit l'architecture transformeur sous-tendant presque tous les grands modèles de langage modernes.
L'article sur le transformeur
Vaswani est titulaire d'un doctorat en informatique de l'Université de Californie du Sud, où il a travaillé sur la traduction automatique statistique avant de rejoindre Google Brain. En tant qu'auteur principal de l'article sur le transformeur, il a joué un rôle central en proposant qu'un modèle de transduction de séquences puisse se passer entièrement de récurrence et de convolutions et s'appuyer uniquement sur un mécanisme d'auto-attention pour modéliser les relations entre toutes les positions d'une séquence en parallèle. L'architecture résultante s'est avérée nettement plus efficace à entraîner à grande échelle que les réseaux récurrents qu'elle a remplacés, et elle a directement permis le pré-entraînement de modèles beaucoup plus grands, constituant la base de BERT, de la série GPT, et de pratiquement tous les modèles majeurs publiés par OpenAI, Anthropic et Google DeepMind depuis.
Après Google
Vaswani a quitté Google en 2020. En 2022, il a cofondé Adept AI avec Niki Parmar, autre co-auteur du transformeur, et d'autres anciens chercheurs de Google et d'OpenAI, une startup axée sur la création d'agents IA capables d'agir dans des interfaces logicielles, un pionnier de ce qui est devenu la vague plus large des agents IA et de l'utilisation informatique de 2024 à 2026. La technologie d'Adept et une partie de son équipe ont été absorbées par Amazon dans le cadre d'un accord de licence et de talents en 2024, une structure similaire à celles utilisées dans d'autres acquisitions de petites startups IA par de grands laboratoires.
Vaswani a ensuite cofondé Essential AI, une autre startup axée sur la recherche de modèles de fondation pour des applications d'entreprise, poursuivant ainsi le type de recherche sur le pré-entraînement à grande échelle qui découle directement de son travail original sur le transformeur.
Influence
En tant qu'auteur principal de l'article le plus cité de l'histoire récente du domaine, Vaswani est largement considéré comme l'un des architectes de toute l'industrie moderne de l'IA générative. Les huit auteurs de l'article, dont Noam Shazeer et Aidan Gomez, ont tous fini par quitter Google, et leurs carrières ultérieures, dispersées entre startups et laboratoires concurrents, ont souvent été citées comme emblématiques de la concentration et de la mobilité des talents de l'IA à l'ère du transformeur après 2017.