Noam Shazeer est un informaticien américain connu comme l'un des huit co-auteurs de l'article de 2017 qui a introduit l'architecture transformeur, et comme co-fondateur de la société de chatbot Character.AI.
Carrière chez Google
Shazeer a travaillé chez Google pendant de nombreuses années avant l'ère du transformeur, contribuant à des systèmes à grande échelle, notamment des parties de la correction orthographique de Google et des premières recherches sur les mélanges d'experts, une architecture qu'il a contribué à populariser comme moyen d'augmenter la capacité des modèles sans augmenter proportionnellement le coût de calcul. En 2017, il a été co-auteur de « Attention Is All You Need », l'article qui a introduit le transformeur, qui a remplacé la récurrence par un mécanisme d'auto-attention et est devenu la base architecturale de presque tous les grands modèles de langage développés depuis, y compris BERT et GPT-3. Les huit auteurs de l'article ont finalement quitté Google.
Character.AI
En 2021, Shazeer a quitté Google pour co-fonder Character.AI, une société qui permettait aux utilisateurs de créer et de converser avec des personnalités IA personnalisables, construites sur des grands modèles de langage que la société entraînait elle-même. Character.AI a connu une croissance rapide, atteignant des dizaines de millions d'utilisateurs, et est devenu l'un des exemples les plus marquants de produits de compagnons IA, mais il a également attiré des critiques et des poursuites judiciaires concernant la sécurité de ses interactions avec les jeunes utilisateurs et un cas largement rapporté impliquant un préjudice causé à un utilisateur.
Retour chez Google
En août 2024, Google a annoncé un accord dans lequel il a payé pour obtenir une licence sur la technologie de Character.AI et a embauché une grande partie de sa direction, y compris Shazeer, qui est retourné chez Google en tant que cadre supérieur au sein de l'organisation Google DeepMind, contribuant au développement de la famille de modèles Gemini. Cet arrangement, structuré comme un accord de licence plus une embauche de talents plutôt qu'une acquisition formelle, a été largement perçu comme faisant partie d'un schéma où les grands laboratoires d'IA réabsorbent les fondateurs de petites sociétés d'IA, une structure également utilisée dans des accords impliquant Inflection AI et Microsoft.
Influence
En tant que co-auteur de l'article sur le transformeur, Shazeer est crédité comme l'un des architectes de la base technique sous-jacente à toute l'industrie de l'IA générative qui a émergé après 2022, et sa trajectoire de carrière, de Google à une start-up IA grand public et retour, est fréquemment citée comme illustrative de la concentration du marché des talents en IA de pointe pendant le boom de l'IA générative.