Jakob Uszkoreit est un informaticien et entrepreneur reconnu pour ses contributions fondamentales à l'apprentissage profond et aux grands modèles de langage. Il est surtout connu comme co-auteur de l'article de 2017 « Attention Is All You Need », qui a introduit l'architecture transformeur, une conception de réseau neuronal qui sous-tend la plupart des systèmes modernes de IA générative. En 2022, il a cofondé Inceptive, une entreprise qui applique l'apprentissage automatique à la biologie de l'ARN et au développement de médicaments.
Le travail d'Uszkoreit fait le pont entre la recherche en intelligence artificielle et les applications pratiques. Ses recherches chez Google (plus précisément au sein de Google Research et Google Brain) se sont concentrées sur la modélisation de séquences et les mécanismes d'attention, ce qui a conduit à l'architecture Transformer qui a révolutionné le traitement du langage naturel. Sa later entreprise, Inceptive, étend ces techniques d'IA à la conception de molécules biologiques, reflétant une tendance plus large d'application de l'apprentissage automatique à la découverte scientifique.
Jeunesse et éducation
Uszkoreit est né en Allemagne et a grandi dans un environnement académique ; son père, Hans Uszkoreit, est un linguiste computationnel. Il a poursuivi des études de premier cycle en informatique à l'Université de Toronto, où il a été exposé aux premières recherches en apprentissage automatique. Il a ensuite obtenu un doctorat en informatique au Laboratoire d'IA de l'Université Stanford (Université Stanford), où ses travaux de thèse ont porté sur la traduction automatique et les modèles de séquence à séquence.
Pendant son séjour à Stanford, Uszkoreit a travaillé sur l'amélioration des systèmes de traduction automatique neuronale, qui émergeaient alors comme alternatives aux méthodes statistiques basées sur des phrases. Sa thèse a exploré des moyens efficaces de modéliser les dépendances à longue portée dans les séquences, un problème qui deviendrait plus tard central pour l'architecture Transformer.
Carrière chez Google
Uszkoreit a rejoint Google Research en 2012, travaillant initialement sur la compréhension du langage naturel et la traduction automatique. Il est devenu membre de l'équipe Google Brain, où il a collaboré avec des chercheurs tels que Llion Jones, Lukasz Kaiser et Niki Parmar. Ses premiers travaux chez Google impliquaient le développement de modèles de réseaux neuronaux récurrents (RNN) pour la traduction, mais il a été frustré par leur inefficacité computationnelle et leur difficulté à être parallélisés.
En 2017, Uszkoreit et ses collègues ont publié « Attention Is All You Need », un article qui proposait de remplacer entièrement les couches récurrentes et convolutionnelles par un mécanisme d'auto-attention. L'article, qui listait également Barret Zoph et d'autres comme contributeurs, a démontré que le Transformer pouvait atteindre des résultats de pointe sur des tâches de traduction tout en étant significativement plus rapide à entraîner. Ce travail a jeté les bases de modèles ultérieurs tels que BERT et GPT, qui sont construits sur la structure encodeur-décodeur du Transformer.
Chez Google, Uszkoreit a continué à travailler sur la mise à l'échelle des Transformers et l'amélioration de leur efficacité. Il a contribué à la recherche sur l'attention sparse et la parallélisation de modèles, ce qui a permis l'entraînement de modèles plus grands. Il a également travaillé sur l'application des Transformers à des domaines non textuels, y compris le traitement d'images et d'audio, bien que son objectif principal soit resté la modélisation de séquences.
L'article sur le Transformer et son impact
L'article de 2017 sur le Transformer, publié à la conférence NeurIPS, a introduit plusieurs innovations clés : l'attention multi-têtes, l'encodage positionnel et une architecture entièrement basée sur l'attention. Contrairement aux réseaux neuronaux récurrents précédents qui traitaient les séquences de manière séquentielle, le Transformer traitait tous les jetons en parallèle, permettant des accélérations massives sur du matériel moderne comme les GPU fabriqués par TSMC. Ce parallélisme était crucial pour l'entraînement des modèles à grande échelle qui ont suivi.
L'impact de l'article a été immédiat et considérable. En quelques années, le Transformer est devenu l'architecture par défaut pour les tâches de traitement du langage naturel, remplaçant les RNN et les réseaux convolutionnels. Il a également influencé d'autres domaines, notamment la vision par ordinateur (avec les Transformers de vision) et la bioinformatique. La contribution spécifique d'Uszkoreit comprenait l'idée d'utiliser l'auto-attention pour l'encodage de séquences, qu'il avait explorée dans des recherches internes antérieures chez Google.
Fondation d'Inceptive
En 2022, Uszkoreit a cofondé Inceptive avec pour objectif d'utiliser l'apprentissage profond pour concevoir des molécules d'ARN, telles que des vaccins et des thérapeutiques à base d'ARNm. L'entreprise applique des modèles de type Transformer pour prédire la structure et la fonction des séquences d'ARN, permettant la création de nouveaux agents biologiques. Inceptive a levé des fonds importants auprès d'investisseurs tels que Andreessen Horowitz et NVIDIA, reflétant l'intersection croissante entre l'IA et la biotechnologie.
Chez Inceptive, Uszkoreit occupe le poste de PDG et dirige une équipe de chercheurs et d'ingénieurs. L'approche de l'entreprise consiste à entraîner des modèles sur de grands ensembles de données de séquences d'ARN et de leurs propriétés, puis à utiliser ces modèles pour générer des molécules candidates pour le développement de médicaments. Ce travail a des applications potentielles dans les vaccins, la thérapie génique et la médecine personnalisée.
Autres contributions et reconnaissance
Au-delà de l'article sur le Transformer, Uszkoreit a publié de nombreux articles sur l'apprentissage automatique et le traitement du langage naturel. Il a été conférencier invité lors de grandes conférences et a siégé à des comités de programme pour NeurIPS et ICML. Ses travaux ont été cités des dizaines de milliers de fois, faisant de lui l'un des chercheurs les plus influents du domaine.
Uszkoreit a également participé à des efforts pour rendre l'IA plus efficace et accessible. Il a parlé des coûts environnementaux de l'entraînement de grands modèles et a plaidé pour des architectures plus efficaces. Ses recherches sur l'attention sparse et les modèles de mélange d'experts ont contribué à réduire les exigences computationnelles.
Vie personnelle et engagement public
Uszkoreit est connu pour son approche collaborative et ouverte de la recherche. Il a encadré de nombreux jeunes chercheurs chez Google et Inceptive. Dans des interviews, il a souligné l'importance du travail interdisciplinaire, en particulier l'application de l'IA à la biologie et à la médecine. Il maintient une présence active sur les plateformes académiques et écrit occasionnellement sur la politique et l'éthique de l'IA.
Malgré son succès, Uszkoreit reste concentré sur les défis scientifiques plutôt que sur le battage commercial. Il a exprimé un optimisme prudent quant à l'avenir de l'IA, notant à la fois son potentiel et ses risques. Son travail chez Inceptive reflète une conviction que l'IA peut répondre à des problèmes de santé mondiaux urgents.
Héritage et orientations futures
L'architecture Transformer co-créée par Uszkoreit est devenue l'épine dorsale de l'IA moderne, alimentant des systèmes allant de la série GPT d'OpenAI à Claude d'Anthropic. Son influence s'étend au-delà des entreprises technologiques pour toucher la recherche académique et les laboratoires gouvernementaux. Les travaux ultérieurs d'Uszkoreit en biologie de l'ARN suggèrent une nouvelle frontière où la conception pilotée par l'IA pourrait transformer la médecine.
En 2024, Inceptive continue de développer sa plateforme, avec des partenariats précoces dans l'industrie pharmaceutique. La carrière d'Uszkoreit illustre la trajectoire de la recherche fondamentale à l'innovation appliquée, et ses contributions sont susceptibles d'être étudiées pendant des décennies.
Voir aussi
Références
- Vaswani, A., et al. (2017). « Attention Is All You Need. » NeurIPS.
- Site officiel d'Inceptive et communiqués de presse.
- Publications de Google Research par Jakob Uszkoreit.