François Chollet est un ingénieur logiciel et chercheur en intelligence artificielle français, surtout connu pour avoir créé Keras, l'une des bibliothèques de apprentissage profond les plus utilisées, et pour avoir conçu le benchmark ARC-AGI, un test largement cité destiné à mesurer la capacité de raisonnement général plutôt que la compétence mémorisée.
Chollet a travaillé pendant de nombreuses années chez Google, où il a développé Keras à partir de 2015 comme une interface haut niveau et conviviale pour construire des réseaux de neurones, initialement exécutée sur TensorFlow puis adoptée comme API haut niveau officielle de TensorFlow. Keras est devenu célèbre pour rendre l'apprentissage profond bien plus accessible aux praticiens sans expertise système approfondie, contribuant significativement à la croissance rapide du domaine au milieu des années 2010 aux côtés de PyTorch.
ARC-AGI et la critique du scaling
En 2019, Chollet a publié l'article « On the Measure of Intelligence », qui soutenait que la plupart des benchmarks d'IA confondent la compétence dans une tâche étroite avec l'intelligence, et proposait une définition de l'intelligence centrée sur l'efficacité d'acquisition de compétences : comment un système peut apprendre de nouvelles tâches à partir de très peu de données. L'article a introduit le benchmark ARC-AGI, un ensemble de tâches de raisonnement visuelles de type puzzle qui sont simples pour la plupart des humains mais se sont révélées très difficiles pour les systèmes de apprentissage automatique, y compris les grands modèles de langage, à résoudre sans formation extensive spécifique à la tâche. Chollet a soutenu que ARC-AGI résiste aux raccourcis de mémorisation et de correspondance de motifs qui permettent aux modèles de bien performer sur de nombreux autres benchmarks, et a été un sceptique public éminent des affirmations selon lesquelles le scaling du calcul et des données de pré-entraînement produira à lui seul l'intelligence artificielle générale.
En 2024, Chollet a co-lancé le ARC Prize, une compétition publique avec un prix en espèces pour le premier système atteignant une performance de niveau humain sur le benchmark, aux côtés de l'entrepreneur Mike Knoop. La compétition a attiré des participations utilisant à la fois des modèles de raisonnement à grande échelle et des approches de synthèse de programmes, et a fourni certaines des preuves publiques les plus surveillées dans le débat sur la proximité des systèmes actuels de l'intelligence générale.
Travaux ultérieurs
Chollet a quitté Google en 2024 et a cofondé Ndea, un laboratoire de recherche poursuivant la synthèse de programmes et d'autres approches de l'IA que Chollet a jugées plus prometteuses pour une véritable généralisation que le scaling supplémentaire des modèles basés sur transformers seuls. Il reste un commentateur public actif, s'engageant fréquemment dans des débats sur les capacités émergentes, les lois de scaling, et la signification des résultats de benchmark dans la recherche en IA.