Geoffrey Everest Hinton (né le 6 décembre 1947) est un informaticien, scientifique cognitif et psychologue cognitif britanno-canadien. Il est largement reconnu comme une figure de proue dans le domaine de l'intelligence artificielle, en particulier pour ses travaux fondateurs sur les réseaux de neurones artificiels, qui lui ont valu le titre de « parrain de l'IA ». Il est professeur émérite à l'Université de Toronto. De 2013 à 2023, il a partagé son temps entre Google Brain et l'université avant d'annoncer publiquement son départ de Google en mai 2023, citant ses préoccupations concernant les risques de la technologie de l'IA. En 2017, il a cofondé et est devenu le conseiller scientifique principal de l'Institut Vector à Toronto.
Les contributions de Hinton à l'IA sont vastes et influentes. Avec David Rumelhart et Ronald J. Williams, il a coécrit un article très cité publié en 1986 qui a popularisé l'algorithme de rétropropagation pour l'entraînement des réseaux de neurones multicouches, bien qu'ils ne soient pas les premiers à proposer cette approche. Le réseau de neurones de reconnaissance d'images AlexNet, conçu en collaboration avec ses étudiants Alex Krizhevsky et Ilya Sutskever, a remporté le défi ImageNet en 2012 et a constitué une percée dans la vision par ordinateur. Il a reçu le prix Turing 2018, avec Yoshua Bengio et Yann LeCun, pour leurs travaux sur le apprentissage profond, et a reçu, avec John Hopfield, le prix Nobel de physique 2024 pour « des découvertes et inventions fondamentales qui permettent l'apprentissage automatique avec des réseaux de neurones artificiels ».
Éducation
Hinton est né le 6 décembre 1947 à Wimbledon au Royaume-Uni et a fait ses études au Clifton College à Bristol. En 1967, il s'est inscrit comme étudiant de premier cycle au King's College de Cambridge. Après avoir changé de domaines tels que les sciences naturelles, l'histoire de l'art et la philosophie, il a finalement obtenu un baccalauréat ès arts en psychologie expérimentale en 1970. Il a passé un an en apprentissage de la menuiserie avant de reprendre ses études universitaires. De 1972 à 1975, il a poursuivi ses études à l'Université d'Édimbourg, où il a obtenu un doctorat en intelligence artificielle en 1978 pour des recherches supervisées par Christopher Longuet-Higgins, qui favorisait l'approche symbolique de l'IA plutôt que l'approche par réseaux de neurones.
Carrière
Après son doctorat, Hinton a d'abord travaillé à l'Université du Sussex et à l'Unité de psychologie appliquée du MRC. Après avoir eu des difficultés à obtenir un financement en Grande-Bretagne, il a travaillé aux États-Unis à l'Université de Californie à San Diego et à l'Université Carnegie Mellon. Il a été le directeur fondateur de l'Unité de neurosciences computationnelles de la Gatsby Charitable Foundation à l'University College de Londres. Il est actuellement professeur émérite au département d'informatique de l'Université de Toronto, où il est affilié depuis 1987, sauf pendant son passage à l'University College de Londres de 1998 à 2001.
À son arrivée au Canada, Hinton a été nommé à l'Institut canadien de recherches avancées (CIFAR) en 1987 en tant que fellow du premier programme de recherche du CIFAR, Intelligence artificielle, robotique et société. En 2004, Hinton et ses collaborateurs ont proposé avec succès le lancement d'un nouveau programme au CIFAR, « Calcul neuronal et perception adaptative » (NCAP), qui s'appelle aujourd'hui « Apprentissage dans les machines et les cerveaux ». Hinton a dirigé le NCAP pendant dix ans. Parmi les membres du programme figurent Yoshua Bengio et Yann LeCun, avec lesquels Hinton remportera le prix ACM A.M. Turing en 2018. Les trois lauréats du prix Turing continuent d'être membres du programme Apprentissage dans les machines et les cerveaux du CIFAR.
Hinton a enseigné un cours en ligne gratuit sur les réseaux de neurones sur la plateforme éducative Coursera en 2012. Il a cofondé DNNresearch Inc. en 2012 avec ses deux étudiants diplômés, Alex Krizhevsky et Ilya Sutskever, au département d'informatique de l'Université de Toronto. En mars 2013, Google a acquis DNNresearch Inc. pour 44 millions de dollars, et Hinton prévoyait de « partager son temps entre ses recherches universitaires et son travail chez Google ».
En mai 2023, Hinton a annoncé publiquement sa démission de Google. Il a expliqué sa décision en disant qu'il voulait parler librement des risques de l'IA et a ajouté qu'une partie de lui regrette maintenant le travail de sa vie.
Parmi les anciens étudiants au doctorat et chercheurs postdoctoraux notables de son groupe figurent Peter Dayan, Sam Roweis, Max Welling, Richard Zemel, Brendan Frey, Radford M. Neal, Yee Whye Teh, Ruslan Salakhutdinov, Ilya Sutskever, Yann LeCun, Alex Graves, Zoubin Ghahramani et Peter Fitzhugh Brown.
Recherche
Les recherches de Hinton portent sur l'utilisation des réseaux de neurones pour l'apprentissage automatique, la mémoire, la perception et le traitement des symboles. Il a écrit ou coécrit plus de 200 publications évaluées par des pairs.
Dans les années 1980, Hinton faisait partie du groupe « Traitement distribué parallèle » à l'Université Carnegie Mellon, qui comprenait des scientifiques notables comme Terrence Sejnowski, Francis Crick, David Rumelhart et James McClelland. Ce groupe favorisait l'approche connexionniste pendant l'hiver de l'IA. Leurs conclusions ont été publiées dans un ensemble en deux volumes. L'approche connexionniste adoptée par Hinton suggère que les capacités dans des domaines comme la logique et la grammaire peuvent être encodées dans les paramètres des réseaux de neurones, et que les réseaux de neurones peuvent les apprendre à partir des données. Les symbolistes, de leur côté, préconisaient de programmer explicitement les connaissances et les règles dans les systèmes d'IA.
En 1985, Hinton a co-inventé les machines de Boltzmann avec David Ackley et Terry Sejnowski. Ses autres contributions à la recherche sur les réseaux de neurones incluent les représentations distribuées, le réseau de neurones à délai temporel, les mélanges d'experts, les machines de Helmholtz et les produits d'experts. Une introduction accessible aux recherches de Geoffrey Hinton se trouve dans ses articles publiés dans Scientific American en septembre 1992 et octobre 1993. En 1995, Hinton et ses collègues ont proposé l'algorithme d'éveil-sommeil, impliquant un réseau de neurones avec des voies séparées pour la reconnaissance et la génération, entraîné avec des phases alternées d'« éveil » et de « sommeil ». En 2007, Hinton a coécrit un article sur l'apprentissage non supervisé intitulé « Unsupervised learning of image transformations ». En 2008, il a développé la méthode de visualisation t-SNE avec Laurens van der Maaten.
Alors que Hinton était chercheur postdoctoral à l'UC San Diego, David Rumelhart, Hinton et Ronald J. Williams ont appliqué l'algorithme de rétropropagation aux réseaux de neurones multicouches. Leurs expériences ont montré que ces réseaux peuvent apprendre des représentations internes utiles. Ce travail, publié en 1986, a joué un rôle déterminant dans le regain d'intérêt pour les réseaux de neurones et a jeté les bases de l'apprentissage profond moderne.
AlexNet et la percée de l'apprentissage profond
En 2012, Hinton et ses étudiants Alex Krizhevsky et Ilya Sutskever ont conçu AlexNet, un réseau de neurones convolutif profond qui a obtenu une amélioration spectaculaire de la précision de classification d'images dans le défi de reconnaissance visuelle à grande échelle ImageNet. Le succès d'AlexNet a démontré la puissance de l'apprentissage profond sur des données à grande échelle et l'entraînement accéléré par GPU, déclenchant l'adoption rapide de l'apprentissage profond dans la vision par ordinateur et d'autres domaines. Cette percée est souvent considérée comme un tournant dans l'histoire de l'IA, conduisant à l'utilisation généralisée des réseaux de neurones profonds dans l'industrie et le monde universitaire.
Prix et distinctions
Hinton a reçu de nombreux prix et distinctions tout au long de sa carrière. En 2018, il a reçu le prix ACM A.M. Turing, souvent appelé le « prix Nobel de l'informatique », conjointement avec Yoshua Bengio et Yann LeCun pour leurs contributions à l'apprentissage profond. En 2024, il a reçu le prix Nobel de physique avec John Hopfield pour des découvertes et inventions fondamentales qui permettent l'apprentissage automatique avec des réseaux de neurones artificiels. Il est également membre de la Royal Society et compagnon de l'Ordre du Canada, entre autres distinctions.
Opinions sur les risques de l'IA
En mai 2023, Hinton a annoncé sa démission de Google afin de pouvoir « parler librement des risques de l'IA ». Il a exprimé ses préoccupations concernant l'utilisation malveillante délibérée par des acteurs malveillants, le chômage technologique et le risque existentiel lié à l'intelligence artificielle générale. Il a noté que l'établissement de directives de sécurité nécessitera une coopération entre ceux qui sont en concurrence dans l'utilisation de l'IA afin d'éviter les pires résultats. Après avoir reçu le prix Nobel, il a appelé à des recherches urgentes sur la sécurité de l'IA pour comprendre comment contrôler des systèmes d'IA plus intelligents que les humains.
Héritage
Les travaux de Geoffrey Hinton ont eu un impact profond sur le domaine de l'intelligence artificielle. Ses recherches pionnières sur les réseaux de neurones et l'apprentissage profond ont permis des percées dans la reconnaissance d'images, la reconnaissance vocale, le traitement du langage naturel et de nombreuses autres applications. Il est largement considéré comme l'un des informaticiens les plus influents de sa génération, et ses étudiants et collaborateurs ont poursuivi en dirigeant des efforts de recherche majeurs en IA dans le monde entier. Son héritage ne réside pas seulement dans les algorithmes et les modèles qu'il a développés, mais aussi dans la génération de chercheurs qu'il a formés et inspirés.