Ben Recht est professeur au département de génie électrique et informatique de l'Université de Californie à Berkeley, où il dirige un groupe de recherche axé sur les fondements mathématiques du apprentissage automatique, de l'optimisation et du contrôle. Ses travaux couvrent à la fois les aspects théoriques et appliqués de l'intelligence artificielle, notamment le développement d'algorithmes évolutifs et l'évaluation critique des affirmations concernant les systèmes d'IA modernes. Recht est également cofondateur du laboratoire Berkeley AI Research (BAIR) et a travaillé comme chercheur chez Amazon Web Services, où il a contribué au développement des puces AWS Trainium.
Recht a obtenu son baccalauréat en informatique et mathématiques à l'Université Carnegie Mellon en 2000, puis son doctorat en informatique à l'Université Stanford en 2006, sous la direction de Michael I. Jordan. Après un postdoctorat au Massachusetts Institute of Technology, il a rejoint le corps professoral de l'Université du Wisconsin-Madison en 2009, avant de s'installer à l'UC Berkeley en 2013. Il a reçu de nombreuses distinctions, notamment la bourse de recherche Sloan et le prix CAREER de la NSF.
Optimisation et théorie de l'apprentissage
Les premières recherches de Recht portaient sur l'optimisation convexe et ses applications aux réseaux de neurones et au traitement du signal. Il a apporté des contributions significatives à la théorie de la complétion et de la récupération de matrices de rang faible, fondamentales pour des problèmes de filtrage collaboratif et de détection compressée. Son travail sur l'algorithme du gradient moyen stochastique (SAG), publié en 2013, a fourni une nouvelle méthode pour optimiser les modèles d'apprentissage automatique à grande échelle, et il a depuis exploré le comportement des variantes de descente de gradient stochastique dans des contextes non convexes.
Dans un article largement cité de 2018, Recht et ses collaborateurs ont étudié la généralisation des réseaux de neurones en les entraînant sur des données étiquetées aléatoirement. Ils ont constaté que les réseaux profonds pouvaient parfaitement s'adapter à des étiquettes aléatoires tout en généralisant bien sur des données réelles, remettant en question les idées reçues sur la régularisation et la capacité des modèles. Ces travaux ont suscité un vaste corpus de recherches sur le biais implicite de l'optimisation par gradient et sur le mystère de l'efficacité de l'apprentissage profond.
Perspectives critiques sur l'IA
Recht est connu pour son approche rigoureuse et sceptique de l'évaluation de l'IA. Dans un article de 2021 coécrit avec Ali Rahimi, il a soutenu que de nombreux succès de l'apprentissage automatique ne reposent pas encore sur une compréhension scientifique solide, et a appelé à des pratiques d'évaluation et de reproductibilité plus rigoureuses. Il s'est montré critique envers le battage médiatique entourant les grands modèles de langage et l'IA générative, soulignant que les démonstrations impressionnantes ne se traduisent pas nécessairement par des performances fiables dans des contextes réels.
Son blog, intitulé « Ben Recht's Blog », est devenu une ressource populaire pour les chercheurs et les praticiens, où il aborde des sujets allant de la théorie de l'optimisation aux limites pratiques de l'apprentissage profond. Il souligne fréquemment l'importance des modèles de référence simples, tels que les modèles linéaires, qui surpassent souvent les architectures complexes de transformeurs dans certaines tâches.
Contrôle et robotique
Au-delà de l'apprentissage automatique, Recht a apporté des contributions à la théorie du contrôle, en particulier dans le domaine du contrôle basé sur l'apprentissage. Il a travaillé sur des algorithmes combinant l'apprentissage par renforcement avec la commande prédictive par modèle, et ses recherches ont été appliquées à la robotique et aux systèmes autonomes. Il a également étudié l'intersection de l'optimisation et du contrôle, développant des méthodes pour stabiliser des systèmes dont la dynamique est inconnue.
En collaboration avec des chercheurs de Waymo et d'autres entreprises, Recht a exploré comment rendre les systèmes d'apprentissage plus robustes aux changements de distribution, un défi clé pour le déploiement de l'IA dans des domaines critiques pour la sécurité. Ses travaux sur le cadre du « contrôle robuste » ont influencé la manière dont les praticiens abordent l'incertitude dans les modèles d'apprentissage automatique.
Enseignement et mentorat
Recht est un enseignant dévoué, ayant dispensé des cours d'optimisation, d'apprentissage automatique et de contrôle aux niveaux du premier et du deuxième cycle. Il a encadré de nombreux étudiants en doctorat et chercheurs postdoctoraux qui ont ensuite occupé des postes dans le monde universitaire et l'industrie, notamment chez OpenAI, Anthropic et Google DeepMind. Ses supports de cours, en particulier ses notes sur l'optimisation convexe, sont largement utilisés dans les universités du monde entier.
Il a également participé à l'élaboration de programmes d'études, contribuant à la conception de nouveaux cours qui font le pont entre l'ingénierie traditionnelle et la science des données moderne. Son approche met l'accent sur la rigueur mathématique et la résolution pratique de problèmes, et il encourage souvent ses étudiants à remettre en question les hypothèses dominantes dans le domaine.
Collaborations industrielles et conseil
Recht a maintenu des liens étroits avec l'industrie tout au long de sa carrière. Outre son travail avec Amazon Web Services, il a été consultant pour diverses entreprises technologiques, notamment Apple, Intel et Samsung Electronics. Son expertise en optimisation a été appliquée à des problèmes de conception de puces, de gestion de centres de données et de cloud computing. Il a également siégé à des comités consultatifs techniques pour plusieurs startups, fournissant des conseils sur des défis algorithmiques.
Sa collaboration avec AWS a conduit à des contributions à la conception de l'AWS Trainium, une puce personnalisée pour l'entraînement et l'inférence en apprentissage automatique. Les travaux de Recht sur les goulots d'étranglement computationnels de l'apprentissage profond ont contribué à éclairer l'architecture du matériel, désormais utilisé par de nombreuses entreprises.
Prix et distinctions
Recht a reçu plusieurs prix prestigieux pour ses recherches. En 2012, il a obtenu une bourse de recherche Sloan, et en 2013, le prix CAREER de la NSF. Il a également été récompensé par le prix du meilleur article à la Conférence internationale sur l'apprentissage automatique (ICML) en 2013 pour ses travaux sur la complétion de matrices, et à la Conférence sur les systèmes de traitement de l'information neuronale (NeurIPS) en 2015 pour ses contributions à l'optimisation non convexe. Il est membre de l'IEEE et de l'ACM.
Ses recherches ont été financées par des subventions de la National Science Foundation, du Bureau de la recherche navale et de l'Agence de projets de recherche avancée pour la défense (DARPA), entre autres. Il a prononcé des conférences plénières lors de grandes conférences et a siégé à des comités de programme de grandes revues et conférences en apprentissage automatique et en optimisation.
Engagement public et écrits
En plus de ses travaux académiques, Recht est un intellectuel public actif. Il a écrit des articles pour des médias grand public et a participé à des interviews dans des podcasts et des émissions d'information, où il discute de l'état de la recherche en IA. Il est connu pour ses explications claires et accessibles de sujets techniques complexes, et il utilise souvent des analogies issues de la théorie du contrôle et de la physique pour illustrer des points sur l'apprentissage automatique.
Il a également été un défenseur vocal de la science ouverte, publiant le code et les données de ses expériences et encourageant les autres à faire de même. Ses articles de blog ont été cités dans des publications académiques et ont suscité des débats sur l'orientation du domaine, en particulier concernant la crise de reproductibilité dans la recherche en IA.
Orientations de recherche actuelles
En 2024, les recherches de Recht se concentrent sur l'intersection de l'optimisation, des statistiques et du contrôle, avec un accent sur le développement de méthodes à la fois théoriquement solides et pratiquement efficaces. Il s'intéresse particulièrement au problème de « l'apprentissage pour optimiser », où l'apprentissage automatique est utilisé pour améliorer les algorithmes d'optimisation eux-mêmes. Il explore également l'utilisation de l'élagage de modèles et de l'augmentation de données pour rendre les grands modèles plus efficaces et plus robustes.
Il continue de collaborer avec des chercheurs du BAIR et d'autres institutions, et ses travaux récents ont abordé des sujets tels que l'étalonnage des modèles de langage et les limites des mécanismes d'attention. Il reste une voix importante dans les discussions en cours sur les promesses et les pièges de l'IA générative, exhortant la communauté à se concentrer sur des progrès mesurables plutôt que sur le battage médiatique.
Héritage et influence
L'influence de Ben Recht dépasse ses contributions techniques. Il a contribué à façonner la culture de la recherche en apprentissage automatique, en promouvant la rigueur, le scepticisme et l'honnêteté intellectuelle. Son insistance sur la compréhension des fondements a inspiré une génération d'étudiants et de chercheurs à regarder au-delà des tendances récentes et à poser des questions plus profondes sur le fonctionnement des algorithmes. Ses travaux ont jeté des bases importantes pour le développement de systèmes d'IA plus fiables et dignes de confiance, et sa perspective critique sert de contrepoids aux récits souvent trop optimistes du domaine.