Joshua Bengio est un informaticien canadien et l'un des chercheurs les plus influents dans le domaine de l'intelligence artificielle. Il est professeur à l'Université de Montréal et directeur scientifique de Mila, l'Institut québécois d'intelligence artificielle. Son travail mené sur plusieurs décennies a contribué à établir l'apprentissage profond comme une pierre angulaire de l'apprentissage automatique moderne, avec des contributions allant des fondements théoriques aux architectures pratiques utilisées dans les systèmes d'IA contemporains.
La carrière de recherche de Bengio a commencé à la fin des années 1980 et au début des années 1990, une période où les réseaux de neurones étaient largement délaissés par la communauté académique. Il a persisté à étudier ces modèles, en se concentrant sur des défis tels que l'apprentissage de représentations distribuées et l'entraînement d'architectures profondes. Ses premiers travaux sur les modèles probabilistes de séquences et sur l'apprentissage par gradient ont jeté des bases qui se sont révélées plus tard essentielles pour les avancées en reconnaissance vocale, en traitement du langage naturel et en vision par ordinateur.
Début de carrière et parcours académique
Bengio a obtenu son doctorat en informatique à l'Université McGill en 1991. Après un travail postdoctoral au Massachusetts Institute of Technology, il a rejoint le corps professoral de l'Université de Montréal en 1993. Tout au long des années 1990 et 2000, il a publié de nombreux travaux sur des sujets tels que l'optimisation des réseaux de neurones, les autoencodeurs et la modélisation du langage. Une contribution notable de cette période est l'article de 2003 présentant un modèle de langage probabiliste neuronal, qui utilisait un réseau de neurones pour apprendre des représentations distribuées des mots, une idée qui anticipait les développements ultérieurs des grands modèles de langage.
Il a également co-écrit un article très cité en 2003 sur l'entraînement de réseaux profonds couche par couche, qui abordait la difficulté d'optimiser des architectures très profondes. Ce travail, ainsi que les contributions d'autres chercheurs, a contribué à raviver l'intérêt pour l'apprentissage profond au milieu des années 2000. Le groupe de recherche de Bengio à l'Université de Montréal est devenu l'un des principaux centres de recherche en apprentissage profond, formant de nombreux étudiants et postdoctorants qui sont eux-mêmes devenus des chercheurs éminents.
Contributions à l'apprentissage profond
Les contributions les plus significatives de Bengio incluent des travaux sur l'apprentissage séquence-à-séquence et les mécanismes d'attention. En 2014, son groupe a publié des recherches sur la traduction automatique neuronale utilisant des réseaux de neurones récurrents avec attention, un mécanisme permettant aux modèles de se concentrer sur les parties pertinentes d'une séquence d'entrée. Cette approche est devenue un composant fondamental de l'architecture transformeur introduite plus tard par d'autres chercheurs, qui sous-tend désormais la plupart des systèmes d'IA modernes.
Il a également contribué au développement de modèles génératifs, notamment à travers des travaux sur les autoencodeurs variationnels et sur les procédures d'entraînement pour les réseaux génératifs profonds. Ses recherches sur l'apprentissage par curriculum, qui consiste à entraîner les modèles sur des exemples progressivement plus difficiles, et sur les défis de l'optimisation dans des espaces de haute dimension ont influencé la manière dont les praticiens conçoivent et entraînent les réseaux profonds. Bengio a publié plus de 500 articles évalués par les pairs, ce qui fait de lui l'un des informaticiens les plus cités au monde.
Leadership et impact institutionnel
En 2016, Bengio a co-fondé Mila, qui est devenu l'un des plus grands groupes de recherche académique en apprentissage profond. Il en est le directeur scientifique depuis sa création. Sous sa direction, Mila a attiré des chercheurs du monde entier et a collaboré étroitement avec des partenaires industriels. Bengio a également été une figure clé de la politique canadienne en matière d'IA, plaidant pour une augmentation des investissements gouvernementaux dans la recherche en IA et pour le développement de lignes directrices éthiques pour le déploiement de l'IA.
Il détient une chaire de recherche du Canada en algorithmes d'apprentissage statistique depuis 2002. En 2017, il a été nommé membre de la Société royale du Canada et a reçu le prix Marie-Victorin du gouvernement du Québec. Son influence s'étend au-delà du milieu académique grâce à son rôle dans le façonnement du discours public sur la sécurité de l'IA et sur les implications sociétales des systèmes d'IA avancés.
Prix et reconnaissance
Bengio a reçu de nombreux prix internationaux. En 2018, il a reçu le prix A.M. Turing de l'ACM, souvent appelé le prix Nobel de l'informatique, conjointement avec Geoffrey Hinton et Yann LeCun pour leurs travaux sur l'apprentissage profond. Il a également reçu le prix Killam en 2019 et le prix IEEE Neural Networks Pioneer en 2022. En 2022, il a été nommé compagnon de l'Ordre du Canada, l'une des plus hautes distinctions civiles du pays.
Son travail a été reconnu par des organisations telles que l'Université de Toronto, où il a occupé des postes de professeur invité, et le laboratoire d'IA de Stanford, entre autres institutions. Il a prononcé des conférences plénières lors de grandes conférences telles que NeurIPS et ICML, et il a siégé aux comités éditoriaux de plusieurs revues de premier plan en apprentissage automatique et en IA.
Travaux récents et plaidoyer
Dans les années 2020, Bengio s'est de plus en plus concentré sur la sécurité de l'IA et sur les risques associés aux systèmes d'IA avancés. Il s'est exprimé publiquement sur les dangers potentiels de l'IA générative et a appelé à des recherches plus rigoureuses sur l'alignement et le contrôle. En 2023, il a signé des déclarations exhortant à la prudence dans le développement de modèles d'IA puissants, et il a participé à des discussions internationales sur la gouvernance de l'IA.
Il continue de superviser des étudiants et de publier des recherches, avec des travaux récents abordant des sujets tels que l'apprentissage de représentations causales et le développement de modèles plus robustes et interprétables. Bengio a également participé à des efforts pour démocratiser la recherche en IA, notamment des projets de logiciels open-source et des collaborations avec des institutions de recherche publiques. Ses contributions continues le maintiennent au centre des débats sur l'orientation future de l'intelligence artificielle.