Geoffrey Everest Hinton (né le 6 décembre 1947) est un informaticien et scientifique cognitif britanno-canadien, connu pour ses travaux fondateurs sur les réseaux de neurones artificiels, qui lui ont valu le titre de « parrain de l'IA ». Il est professeur émérite à l'Université de Toronto, où il a joué un rôle central dans le développement de l'apprentissage profond depuis la fin des années 1980.
Les contributions de Hinton incluent la co-rédaction de l'article marquant de 1986 qui a popularisé la rétropropagation pour l'entraînement des réseaux de neurones multicouches, ainsi que la conception d'AlexNet, qui a remporté le défi ImageNet en 2012 et révolutionné la vision par ordinateur. Il a partagé le prix Turing 2018 avec Yoshua Bengio et Yann LeCun pour leurs travaux sur l'apprentissage profond, et en 2024, il a reçu le prix Nobel de physique avec John Hopfield pour leurs découvertes permettant l'apprentissage automatique avec des réseaux de neurones artificiels.
Éducation
Hinton est né à Wimbledon, en Angleterre, et a fréquenté le Clifton College à Bristol, avant de s'inscrire au King's College de Cambridge en 1967. Après avoir exploré divers domaines, notamment les sciences naturelles et l'histoire de l'art, il a obtenu un baccalauréat ès arts en psychologie expérimentale en 1970. Il a ensuite travaillé comme apprenti charpentier, mais est revenu au monde académique, étudiant de 1972 à 1975 à l'Université d'Édimbourg, où il a reçu un doctorat en intelligence artificielle en 1978, sous la supervision de Christopher Longuet-Higgins. Son intérêt précoce pour les réseaux de neurones divergeait de l'école dominante de l'IA symbolique de l'époque.
Carrière et rôles académiques
Après avoir terminé son doctorat, Hinton a occupé des postes à l'Université du Sussex et à l'Unité de psychologie appliquée du MRC au Royaume-Uni, mais a rencontré des difficultés pour obtenir des financements de recherche. Il a déménagé aux États-Unis, travaillant à l'Université de Californie à San Diego, puis à l'Université Carnegie Mellon à Pittsburgh. En 1987, il a rejoint l'Université de Toronto, où il est resté depuis, avec une pause de 1998 à 2001 lorsqu'il a été directeur fondateur de l'Unité de neurosciences computationnelles de la Gatsby Charitable Foundation à l'University College de Londres.
À l'Université de Toronto, Hinton a été nommé fellow de l'Institut canadien de recherches avancées (CIFAR) en 1987, et en 2004, il a contribué au lancement d'un programme CIFAR sur le calcul neuronal et la perception adaptative, plus tard renommé Apprentissage dans les machines et les cerveaux, qu'il a dirigé pendant dix ans. Ce programme comptait parmi ses membres Yoshua Bengio et Yann LeCun, avec qui il a ensuite partagé le prix Turing. En 2012, Hinton a enseigné un cours en ligne gratuit sur les réseaux de neurones via la plateforme Coursera, initiant des centaines de milliers de personnes à l'apprentissage profond. La même année, il a cofondé DNNresearch Inc. avec ses étudiants diplômés Alex Krizhevsky et Ilya Sutskever.
L'entreprise a été acquise par Google (plus tard Google Brain) en mars 2013 pour 44 millions de dollars, et Hinton a ensuite partagé son temps entre l'entreprise et ses fonctions académiques. En mai 2023, il a publiquement démissionné de Google, déclarant qu'il voulait parler librement des risques de l'IA et qu'il regrettait en partie son travail de toute une vie. Il a également cofondé et est devenu conseiller scientifique en chef de l'Institut Vector à Toronto en 2017, un poste qu'il a continué à occuper après sa retraite de la recherche active. Hinton est également professeur émérite au département d'informatique, avec des étudiants doctorants et des chercheurs postdoctoraux, notamment Peter Dayan, Sam Roweis, Max Welling, Richard Zemel, Brendan Frey, Radford Neal, Yee Whye Teh, Ruslan Salakhutdinov, Ilya Sutskever, Yann LeCun et Zoubin Ghahramani.
Recherche sur les réseaux de neurones
Les recherches de Hinton portent principalement sur l'utilisation des réseaux de neurones pour l'apprentissage automatique, la mémoire, la perception et le traitement des symboles. Il a rédigé ou co-rédigé plus de 200 publications évaluées par les pairs, et ses travaux couvrent les représentations distribuées, les réseaux de neurones à délai temporel, les mélanges d'experts, les machines de Helmholtz et les produits d'experts.
Dans les années 1980, Hinton était membre du groupe de traitement distribué parallèle à l'Université Carnegie Mellon, qui comprenait également Terrence Sejnowski, Francis Crick, David Rumelhart et James McClelland. Ce groupe a défendu le connexionnisme, l'idée que la cognition de haut niveau pouvait émerger de réseaux d'unités simples, à une époque où le domaine de l'IA s'orientait largement vers l'IA symbolique, une approche programmant explicitement des règles et des connaissances.
Une contribution technologique clé est survenue en 1985 lorsque Hinton a co-inventé la machine de Boltzmann avec David Ackley et Terry Sejnowski. Ce réseau stochastique apprenait à représenter et à générer des motifs via un modèle de probabilité latent, posant les bases de modèles basés sur l'énergie ultérieurs. En 1995, avec ses étudiants et collègues, Hinton a proposé l'algorithme d'éveil-sommeil, qui entraîne un réseau de reconnaissance et un réseau génératif en utilisant des phases alternées d'« éveil » et de « sommeil ». Ce travail a contribué aux avancées ultérieures dans plusieurs approches d'apprentissage.
Hinton a également développé des astuces de visualisation pour comprendre les données de haute dimension. En 2008, avec Laurens van der Maaten, il a introduit t-SNE, une méthode qui réduit les données de nombreuses dimensions à deux ou trois pour une inspection visuelle, largement utilisée dans des domaines au-delà des réseaux de neurones. Il a également co-rédigé un article de 2007 sur l'apprentissage non supervisé des transformations d'images, enrichissant davantage la boîte à outils pour apprendre à partir de données sans étiquettes.
AlexNet et la percée de l'apprentissage profond
La notoriété de Hinton a grimpé en flèche en 2012 lorsqu'AlexNet, un réseau de neurones convolutif conçu avec ses étudiants Alex Krizhevsky et Ilya Sutskever, a remporté de manière décisive le défi de reconnaissance visuelle à grande échelle ImageNet. Le réseau a atteint un taux d'erreur top-5 de 15,3 % à l'époque, bien meilleur que les méthodes précédentes, démontrant spectaculairement la puissance des réseaux de neurones profonds. Cette percée a déclenché une renaissance de l'apprentissage profond en vision par ordinateur et a été un facteur clé dans la vague actuelle des avancées en IA.
Avant AlexNet, les réseaux de neurones étaient considérés comme limités, souvent entraînés sur de petits ensembles de données. Le succès a combiné une grande augmentation de données, des unités linéaires rectifiées et un entraînement efficace sur GPU, tous éléments que Hinton et ses collègues avaient poursuivis pendant des années. La reconnaissance de la performance d'AlexNet est largement considérée comme un motivateur majeur pour que de nouvelles entreprises et laboratoires de recherche, comme les efforts d'IA de Google, intensifient leurs investissements dans l'Deep learning.
Sensibilisation du public et collaborations
Hinton a constamment travaillé à communiquer ses idées à un public plus large, publiant des écrits sur l'intelligence artificielle dans des magazines comme Scientific American en septembre 1992 et octobre 1993. Il a également enseigné le MOOC de 2012 sur l'apprentissage des connaissances réelles, qui a contribué à former une génération de chercheurs en apprentissage profond. Son passage chez Google en 2013, annoncé comme un poste à temps partiel destiné à « partager mon temps entre la recherche universitaire et le travail chez Google », a renforcé son lien avec l'industrie. Après avoir fondé DNNresearch avec Sutskever et Krizhevsky, il a rejoint l'écosystème des entreprises d'IA, et plus tard, son groupe a collaboré avec OpenAI sur les premiers efforts comme les différences de modèles de langage de 2020, mais Hinton lui-même n'était pas chez OpenAI. Il a maintenant des membres du personnel dans diverses institutions.
Prix et reconnaissance
Les découvertes fondatrices de Hinton lui ont valu les plus hautes reconnaissances professionnelles dans son domaine. En 2018, il a reçu le prix ACM AM Turing, souvent appelé le prix Nobel de l'informatique, conjointement avec Yoshua Bengio et Yann LeCun, en reconnaissance des percées conceptuelles et techniques qui ont prouvé la notion que de grands réseaux de neurones pouvaient produire de l'intelligence. Ils sont souvent appelés les « parrains de l'apprentissage profond ».
En 2024, Hinton a reçu le prix Nobel de physique avec John Hopfield pour « des découvertes et inventions fondamentales qui permettent l'apprentissage automatique avec des réseaux de neurones artificiels ». L'Académie suédoise a souligné leurs travaux sur la physique statistique et la mémoire associative, qui ont jeté les bases majeures du boom actuel de l'intelligence artificielle. Hinton, physicien théoricien de formation conjointe, a accepté le prix, réfléchissant à l'ironie qu'un domaine autrefois considéré comme marginal soit devenu central pour la physique moderne.
Sécurité de l'IA et plaidoyer
Après avoir quitté Google en 2023, Hinton est devenu une voix éminente concernant les risques de l'IA. Il a déclaré qu'il avait quitté pour pouvoir parler librement de la sécurité de l'IA. Il dit s'inquiéter des modèles de langage de grande taille et d'autres systèmes qui pourraient bientôt fonctionner à un niveau de capacité humaine, et qu'ils pourraient au mieux être utilisés à mauvais escient par des acteurs malveillants ou au pire devenir des risques existentiels. Il ne considère plus que la transformation vers l'intelligence générale artificielle est possible, mais qu'elle s'accélère énormément.
Hinton a appelé à l'établissement et à l'application de directives de sécurité grâce à une coopération contraignante entre les entreprises d'IA et les nations. Il a déclaré que l'autorégulation de l'IA est insuffisante et a spécifiquement souligné que les entreprises construisant des modèles de langage de grande taille pourraient être « asservies » par des incitations au profit, et que les nations pourraient se livrer à une course qui pourrait être évitable pour la sécurité. Après avoir reçu le prix Nobel, il a proposé une recherche urgente sur la sécurité de l'IA pour concevoir des systèmes garantissant le contrôle de ceux plus intelligents que les humains. Son message a reçu des critiques scientifiques mais résonne avec l'idée d'une communauté de l'IA de plus en plus préoccupée par le contrôle.
Vie personnelle et héritage
Hinton est né à Wimbledon, à Londres, dans une famille intellectuelle. Son parcours comprend de nombreux scientifiques, et son arrière-grand-père Claude était un logicien. Il a émigré au Canada en 1987, est devenu citoyen canadien et vit maintenant à Toronto. Il a des excentricités comme son célèbre piratage personnalisé et a connu un succès sans précédent. Ses contributions visionnaires précoces, souvent moquées dans les années 1980, se sont révélées préscientes par la suite.
Parmi les anciens étudiants doctorants et chercheurs postdoctoraux notables de Hinton figurent Peter Stimson, Sam Read, Max Welles, Richard Urban Bedding, Radford, Y. Why, Ruslan, Ilya Sutskever (cofondateur d'OpenAI, créateur de l'Deep learning), et d'autres.
Hinton a été reconnu comme une figure fondatrice assurant que son travail de toute une vie. Il a appelé à des mesures éthiques, mais continue également de voir de la valeur dans l'« ère de transformation intellectuelle » de l'IA.