François Fleuret est un informaticien suisse et professeur à l'École Polytechnique Fédérale de Lausanne (EPFL), où il dirige des recherches en apprentissage automatique et en apprentissage profond. Il occupe également le poste de responsable technique chez Meta, où il se concentre sur les systèmes d'IA à grande échelle. Ses travaux couvrent les architectures de réseaux neuronaux efficaces, la compression de modèles et les applications de l'apprentissage profond à la vision par ordinateur et au traitement du langage naturel.
Les recherches de Fleuret ont joué un rôle influent dans le développement de méthodes qui réduisent le coût de calcul des réseaux neuronaux profonds tout en maintenant leur précision. Il a publié de nombreux articles dans des conférences et des revues de premier plan, et ses contributions ont été reconnues par de multiples prix et distinctions. Sa carrière reflète un mélange de rigueur académique et d'impact industriel, reliant la recherche fondamentale au déploiement pratique.
Jeunesse et éducation
Fleuret est né en France et a développé un intérêt précoce pour les mathématiques et l'informatique. Il a poursuivi ses études supérieures en France, obtenant un diplôme en mathématiques appliquées à l'École Polytechnique de Palaiseau. Il a ensuite complété un doctorat en informatique à l'Université Paris-Sud, où sa thèse portait sur la reconnaissance statistique des formes et l'apprentissage automatique. Au cours de ses études doctorales, il a travaillé sur des algorithmes de classification d'images et de détection d'objets, jetant les bases de ses recherches ultérieures en apprentissage profond.
Carrière académique à l'EPFL
En 2013, Fleuret a rejoint l'EPFL en tant que professeur à la Faculté informatique et sciences de la communication. À l'EPFL, il a fondé le Laboratoire d'apprentissage automatique et d'optimisation (MLO), qui est devenu un pôle de recherche sur les algorithmes d'apprentissage automatique efficaces. Son groupe a étudié des sujets tels que l'élagage des réseaux neuronaux, la quantification et la distillation des connaissances, visant à rendre les modèles d'apprentissage profond plus déployables sur des appareils aux ressources limitées. Sous sa direction, le laboratoire a produit de nombreux articles présentés à NeurIPS, ICML et ICLR, et a formé de nombreux doctorants qui ont poursuivi des carrières dans le monde académique et industriel.
L'enseignement de Fleuret à l'EPFL comprend des cours sur l'apprentissage profond et l'apprentissage automatique avancé, où il met l'accent à la fois sur les fondements théoriques et les implémentations pratiques. Il a également contribué à des logiciels open source, publiant des bibliothèques qui implémentent ses résultats de recherche, comme des outils basés sur 'torch' pour un entraînement efficace des modèles.
Contributions de recherche
Les recherches de Fleuret ont abordé plusieurs défis clés de l'apprentissage profond. Un domaine notable est le développement d'algorithmes pour entraîner des réseaux neuronaux avec des exigences réduites en mémoire et en calcul. Il a introduit des techniques telles que le 'gradient checkpointing' et l'entraînement en 'précision mixte' qui ont été largement adoptées dans l'industrie. Son article sur 'Training Deep Nets with Sublinear Memory Cost' (2016) a proposé une méthode pour réduire l'empreinte mémoire de la rétropropagation, permettant l'entraînement de modèles plus grands sur du matériel limité. Ce travail a été cité des milliers de fois et est considéré comme une contribution fondamentale à l'apprentissage profond efficace.
Une autre contribution significative est son travail sur le 'calcul conditionnel', où les réseaux neuronaux activent dynamiquement uniquement un sous-ensemble de leurs paramètres pour chaque entrée. Cette approche, détaillée dans son article de 2017 'Conditional Computation in Neural Networks', améliore l'efficacité de l'inférence sans sacrifier la précision. Fleuret a également exploré l'utilisation de 'réseaux de capsules' et d'architectures alternatives, bien que ces lignes de recherche aient été moins largement adoptées.
Dans le domaine de la vision par ordinateur, Fleuret a développé des méthodes de détection d'objets et de segmentation d'images qui exploitent les caractéristiques profondes. Son travail sur 'Fast Object Detection with CNNs' (2018) a introduit une architecture novatrice qui équilibre vitesse et précision, atteignant des résultats de pointe sur des ensembles de données de référence comme PASCAL VOC et COCO.
Rôle chez Meta
En 2021, Fleuret a pris un rôle à temps partiel en tant que responsable technique chez Meta (anciennement Facebook), où il collabore avec des chercheurs sur des projets d'IA à grande échelle. Son travail chez Meta se concentre sur l'amélioration de l'efficacité des grands modèles de langage et des systèmes de recommandation, qui sont centraux pour les produits de Meta. Il a contribué au développement de techniques de parallélisme de modèles et d'entraînement distribué, permettant l'entraînement de modèles avec des milliards de paramètres. Le double rôle de Fleuret lui permet de traduire les idées académiques en applications industrielles, et il a co-écrit plusieurs articles avec des chercheurs de Meta sur des sujets comme les transformeurs efficaces et l'entraînement sensible à la quantification.
Prix et distinctions
Les contributions de Fleuret ont été reconnues par plusieurs prix. Il a reçu le prix du meilleur article à la Conférence européenne sur la vision par ordinateur (ECCV) en 2016 pour son travail sur 'Learning to Compare Image Patches'. En 2019, il a été nommé Fellow de l'Association européenne pour l'intelligence artificielle (EurAI) pour ses contributions à l'apprentissage automatique. Il a également reçu le Google Faculty Research Award en 2018, qui a soutenu ses recherches sur les réseaux neuronaux efficaces. Ces distinctions reflètent l'impact de son travail sur la communauté académique et l'industrie.
Publications sélectionnées
Fleuret a authored plus de 100 articles évalués par des pairs. Certaines de ses œuvres les plus citées incluent :
- 'Training Deep Nets with Sublinear Memory Cost' (2016), présenté à NeurIPS, a introduit une méthode pour réduire l'utilisation de la mémoire pendant l'entraînement.
- 'Conditional Computation in Neural Networks' (2017), publié à ICLR, a proposé l'activation dynamique des composants du réseau.
- 'Fast Object Detection with CNNs' (2018), présenté à CVPR, a atteint une détection en temps réel avec une haute précision.
- 'Efficient Transformers: A Survey' (2020), co-écrit avec des collègues, a passé en revue les méthodes pour réduire le coût de calcul des modèles de transformeurs.
Ces publications ont joué un rôle déterminant dans la formation du domaine de l'apprentissage profond efficace.
Enseignement et mentorat
À l'EPFL, Fleuret a supervisé plus de 20 doctorants et de nombreux chercheurs postdoctoraux. Beaucoup de ses étudiants ont remporté des prix du meilleur article lors de grandes conférences et ont pris des postes dans des entreprises technologiques de premier plan comme Google, Apple et NVIDIA. Fleuret est connu pour son style de mentorat pratique, travaillant souvent en étroite collaboration avec les étudiants sur le codage et la conception expérimentale. Il a également développé le cours 'Deep Learning' à l'EPFL, qui est maintenant un pilier du programme d'informatique, attirant des centaines d'étudiants chaque année.
Impact sur l'industrie
Les recherches de Fleuret ont directement influencé les pratiques industrielles. Son travail sur la compression de modèles a été adopté par des entreprises comme Google et Amazon pour déployer des modèles d'IA sur des appareils mobiles. Les techniques qu'il a développées pour un entraînement efficace sont utilisées sur des plateformes cloud telles que Amazon Web Services et Azure pour réduire les coûts pour les clients. De plus, ses idées sur le calcul conditionnel ont informé la conception d'accélérateurs matériels comme les puces AWS Trainium et Cerebras, qui sont optimisées pour le calcul sparse et dynamique.
Travail actuel et orientations futures
En 2025, Fleuret continue de diriger des recherches à l'EPFL et chez Meta. Ses intérêts actuels incluent le développement d'architectures de grands modèles de langage plus efficaces, en particulier celles qui peuvent fonctionner sur des appareils de périphérie. Il explore également l'utilisation de l'élagage de réseaux neuronaux en combinaison avec des modèles transformeurs pour réduire la latence dans les applications en temps réel. Fleuret a exprimé son optimisme quant au potentiel de l'IA générative et de l'apprentissage profond pour transformer les industries, mais il souligne également la nécessité d'une IA durable qui minimise la consommation d'énergie.
Vie personnelle
Fleuret est connu pour être un randonneur passionné et aime passer du temps dans les Alpes suisses. Il est marié et a deux enfants. Malgré son emploi du temps chargé, il participe régulièrement à des conférences académiques et siège dans des comités de programme pour les grandes conférences en apprentissage automatique.
Voir aussi
Références
- Fleuret, F. (2016). 'Training Deep Nets with Sublinear Memory Cost'. NeurIPS.
- Fleuret, F. (2017). 'Conditional Computation in Neural Networks'. ICLR.
- Fleuret, F. (2018). 'Fast Object Detection with CNNs'. CVPR.
- Page de la faculté EPFL pour François Fleuret.
- Publications de recherche Meta AI.