Llion Jones est un chercheur en apprentissage automatique et entrepreneur gallois. Il est surtout connu comme co-auteur de l'article de 2017 « Attention Is All You Need », qui a introduit l'architecture Transformer (architecture), un modèle fondateur pour les grands modèles de langage modernes. En 2023, il a cofondé Sakana AI, une startup basée à Tokyo axée sur l'IA inspirée par la nature, où il occupe le poste de directeur de la technologie.
Jones est né en 1984 à Bangor, au pays de Galles, et a grandi à Bangor et Abergynolwyn dans le Gwynedd. Il a fréquenté le Coleg Meirion-Dwyfor avant de poursuivre des études supérieures à l'Université de Birmingham, où il a obtenu une licence en intelligence artificielle et informatique, suivie d'un master en informatique avancée. Il a été diplômé en 2009.
Début de carrière et Google
Après avoir été diplômé, Jones a rejoint la division YouTube de Google en tant qu'ingénieur logiciel en 2011 ou 2012. En 2015, il est passé à Google Research, où il a travaillé sur l'intelligence artificielle et le traitement du langage naturel. Son travail chez Google Research l'a placé au centre d'une équipe qui produirait l'un des articles les plus influents dans le domaine de l'intelligence artificielle.
L'article sur le Transformer
En 2017, Jones a coécrit « Attention Is All You Need » aux côtés de Jakob Uszkoreit, Lukasz Kaiser, Niki Parmar, Barret Zoph, et d'autres. L'article a introduit l'architecture du transformer, qui repose entièrement sur des mécanismes d'auto-attention plutôt que sur des couches récurrentes ou convolutionnelles. Cette conception a permis un traitement parallèle plus efficace et a considérablement amélioré les performances sur les tâches de séquence à séquence. Le transformer est devenu le socle de systèmes d'IA ultérieurs, y compris BERT, GPT, et d'autres grands modèles de langage, et a été largement adopté dans la recherche en apprentissage automatique et en apprentissage profond.
Critique de l'orientation de la recherche en IA
Jones a été franc sur la portée étroite de la recherche en IA, critiquant particulièrement l'accent mis par Google sur les grands modèles de langage au détriment d'autres approches. Il a fait valoir que la concentration du domaine sur la mise à l'échelle des modèles de langage a limité l'exploration d'architectures alternatives et de paradigmes d'apprentissage. Cette perspective a influencé son travail ultérieur avec Sakana AI, qui cherche à s'inspirer des systèmes naturels et de l'intelligence collective.
Fondation de Sakana AI
En 2023, Jones a quitté Google Japan pour cofonder Sakana AI avec David Ha, un ancien chercheur de Google et responsable de Stability AI. Ils ont été rejoints par Ren Ito. Le nom de l'entreprise, « Sakana », signifie « poisson » en japonais, reflétant sa mission de développer une IA qui imite les comportements adaptatifs et collectifs des organismes naturels. Sakana AI vise à créer des systèmes d'IA plus efficaces et plus flexibles en s'appuyant sur des principes tels que l'intelligence en essaim et les algorithmes évolutionnaires. Jones a pris le rôle de directeur de la technologie, supervisant l'orientation technique et la stratégie de recherche.
Impact et reconnaissance
Les contributions de Jones à l'article sur le transformer ont eu un impact durable sur le domaine de l'intelligence artificielle. L'architecture qu'il a contribué à créer sous-tend beaucoup des produits et services d'IA les plus éminents, y compris la série GPT de OpenAI, les modèles de langage de Google DeepMind, et diverses applications d'IA générative. Son travail a été largement cité dans la littérature académique et a influencé le développement des réseaux de neurones au-delà du traitement du langage naturel, y compris en vision par ordinateur et en traitement audio.
Vie personnelle et intérêts
Jones est connu pour son intérêt pour l'intersection de l'IA et de la biologie, établissant souvent des parallèles entre les systèmes naturels et les modèles computationnels. Il a parlé de l'importance de la recherche interdisciplinaire et du potentiel de l'IA à être inspirée par l'efficacité et l'adaptabilité des organismes vivants. Son héritage gallois et son éducation dans le Gwynedd rural ont été notés dans des interviews comme façonnant sa perspective sur la technologie et la communauté.
Développements ultérieurs
En date de 2025, Sakana AI a continué de croître, attirant l'attention des investisseurs et des chercheurs intéressés par des paradigmes d'IA alternatifs. Jones reste actif dans la communauté de l'IA, contribuant aux discussions sur l'avenir du domaine et plaidant pour un programme de recherche plus large au-delà des grands modèles de langage. Son travail avec Sakana AI représente une rupture significative avec les approches dominantes, se concentrant sur des modèles plus petits et plus adaptables qui peuvent fonctionner efficacement dans des environnements à ressources limitées.
Héritage
L'architecture du transformer introduite par Jones et ses collègues a été décrite comme un tournant dans la recherche en IA, permettant des percées en apprentissage automatique et en apprentissage profond. Son influence s'étend aux grandes entreprises technologiques et aux institutions de recherche, y compris Google DeepMind, OpenAI, Anthropic, et aux laboratoires académiques tels que Stanford AI Lab et MIT CSAIL. Le rôle de Jones dans ce développement, ainsi que ses efforts entrepreneuriaux ultérieurs, le positionne comme une figure notable dans l'évolution continue de l'intelligence artificielle.
Références
- « Attention Is All You Need » (2017) - Vaswani et al.
- Site web officiel de Sakana AI et communiqués de presse
- Interviews et conférences publiques de Llion Jones