Alex Krizhevsky est un informaticien, né en Ukraine et élevé au Canada, surtout connu pour avoir co-créé AlexNet, le réseau de neurones convolutif profond qui a remporté le défi de reconnaissance visuelle à grande échelle ImageNet en 2012 avec une large avance. En tant qu'étudiant diplômé à l'Université de Toronto, travaillant sous la direction de Geoffrey Hinton, Krizhevsky a conçu et implémenté le réseau avec son camarade Ilya Sutskever, Hinton étant l'auteur principal de l'article qui en a résulté.
AlexNet
AlexNet a réduit le taux d'erreur de classification d'ImageNet d'environ dix points de pourcentage par rapport à la deuxième meilleure entrée, un écart si important qu'il a remodelé les attentes du domaine presque du jour au lendemain. La conception du réseau combinait une pile relativement profonde de couches convolutives avec des techniques telles que les activations ReLU, la régularisation par abandon (dropout) et, surtout, l'entraînement sur des cartes graphiques grand public, démontrant que les GPU pouvaient rendre l'entraînement de réseaux de neurones beaucoup plus grands pratique. Le résultat de 2012 est largement cité comme l'événement unique qui a convaincu une communauté de vision par ordinateur sceptique d'adopter les méthodes de apprentissage profond, lançant effectivement la vague de recherche et d'investissement qui a produit les avancées de la décennie suivante en vision par ordinateur et, plus tard, en grands modèles de langage. Krizhevsky a également publié cuda-convnet, une implémentation GPU efficace des réseaux convolutifs qui a circulé largement parmi les premiers chercheurs en apprentissage profond et a servi de référence pratique avant l'existence de cadres plus vastes tels que PyTorch et TensorFlow.
Carrière après AlexNet
Après la publication de l'article, Hinton, Sutskever et Krizhevsky ont formé une petite entreprise, DNNresearch, que Google a acquise en 2013, intégrant les trois chercheurs dans les efforts d'IA de Google pendant une période. Krizhevsky a travaillé chez Google pendant plusieurs années par la suite, contribuant aux systèmes internes de vision par ordinateur et d'apprentissage profond, mais s'est largement retiré de l'activité de recherche publique et de la publication académique dans les années qui ont suivi, contrairement au profil public élevé continu de ses co-auteurs d'AlexNet, Hinton et Sutskever.
Héritage
Malgré son profil public relativement faible par rapport à de nombreux contemporains, la contribution de Krizhevsky est considérée comme l'un des moments pivots de l'histoire de l'IA, souvent placée aux côtés de l'atelier de Dartmouth et de la publication de « Attention Is All You Need » comme l'un des points d'inflexion définissant le domaine. AlexNet reste un point de référence standard enseigné dans les cours d'introduction à l'apprentissage profond, et il est fréquemment le premier exemple présenté aux étudiants apprenant les architectures convolutives et le changement historique vers l'entraînement accéléré par GPU.