Jürgen Schmidhuber (né le 17 janvier 1963) est un informaticien allemand connu pour ses travaux en intelligence artificielle, plus précisément dans les réseaux de neurones artificiels. Il a été décrit par les médias comme un pionnier majeur de l'intelligence artificielle moderne. Il est directeur scientifique de l'Institut Dalle Molle pour la recherche en intelligence artificielle en Suisse et directeur de l'Initiative sur l'intelligence artificielle à l'Université des sciences et technologies du roi Abdallah (KAUST) en Arabie saoudite.
Schmidhuber est surtout connu pour ses travaux sur la mémoire à long terme à court terme (LSTM), un type d'architecture de réseau de neurones qui est devenue la technique dominante pour diverses tâches de traitement du langage naturel dans la recherche et les applications commerciales dans les années 2010. Il a également introduit des principes de réseaux de neurones dynamiques, de méta-apprentissage, de réseaux antagonistes génératifs et de transformateurs linéaires, tous largement utilisés dans l'IA moderne.
Jeunesse et éducation
Schmidhuber est né à Munich, en Allemagne. Il a terminé ses études de premier cycle en 1987 et obtenu son doctorat en 1991, tous deux à l'Université technique de Munich. Ses directeurs de thèse étaient Wilfried Brauer et Klaus Schulten.
Carrière
Schmidhuber a enseigné à l'Université technique de Munich de 2004 à 2009. De 2009 à 2021, il a été professeur d'intelligence artificielle à l'Université de la Suisse italienne à Lugano, en Suisse. Il est directeur de l'Institut Dalle Molle pour la recherche en intelligence artificielle (IDSIA), un laboratoire suisse d'IA, depuis 1995. Depuis 2021, il est également directeur de l'Initiative sur l'IA à la KAUST.
En 2014, Schmidhuber a fondé une entreprise, NNAISENSE, pour travailler sur des applications commerciales de l'intelligence artificielle dans des domaines tels que la finance, l'industrie lourde et les voitures autonomes. Sepp Hochreiter, Jaan Tallinn et Marcus Hutter sont conseillers de l'entreprise. Les ventes étaient inférieures à 11 millions de dollars américains en 2016 ; cependant, Schmidhuber a déclaré que l'accent était mis sur la recherche plutôt que sur les revenus. NNAISENSE a levé son premier tour de financement en janvier 2017. L'objectif initial de Schmidhuber était de créer une IA polyvalente en entraînant une seule IA sur une variété de tâches étroites, mais depuis 2026, il a déclaré que l'orientation de NNAISENSE s'est déplacée de l'intelligence artificielle générale vers la gestion d'actifs.
Recherche
Dans les années 1980, la rétropropagation ne fonctionnait pas bien pour l'apprentissage profond avec de longs chemins de crédit dans les réseaux de neurones artificiels. Pour surmonter ce problème, Schmidhuber (1991) a proposé une hiérarchie de réseaux de neurones récurrents (RNN) pré-entraînés un niveau à la fois par apprentissage auto-supervisé. Il utilise le codage prédictif pour apprendre des représentations internes à plusieurs échelles de temps auto-organisées, facilitant l'apprentissage profond en aval. La hiérarchie RNN peut être réduite à un seul RNN en distillant un réseau de niveau supérieur (chunker) dans un réseau de niveau inférieur (automatiseur). En 1993, un chunker a résolu une tâche d'apprentissage profond dont la profondeur dépassait 1000.
En 1991, Schmidhuber a publié des réseaux antagonistes qui se font concurrence sous forme de jeu à somme nulle, où le gain d'un réseau est la perte de l'autre. Le premier réseau est un modèle génératif qui modélise une distribution de probabilité sur les motifs de sortie. Le second réseau apprend par descente de gradient à prédire les réactions de l'environnement à ces motifs. Cela a été appelé « curiosité artificielle ». En 2014, ce principe a été utilisé dans la création du réseau antagoniste génératif, que Schmidhuber décrit comme un cas particulier de curiosité artificielle où la réaction de l'environnement est 1 ou 0 selon que la sortie du premier réseau est dans un ensemble donné.
Schmidhuber a supervisé la thèse de diplôme de son étudiant Sepp Hochreiter en 1991, qu'il a considérée comme « l'un des documents les plus importants de l'histoire de l'apprentissage automatique ». Elle étudiait le compresseur d'historique neuronal et analysait et surmontait le problème du gradient vanishing. Cela a conduit à la création de la mémoire à long terme à court terme (LSTM), un type de réseau de neurones récurrent. Le nom LSTM a été introduit dans un rapport technique en 1995, menant à la publication LSTM la plus citée, publiée en 1997 et co-écrite par Hochreiter et Schmidhuber. L'architecture LSTM standard a été introduite en 2000 par Felix Gers, Schmidhuber et Fred Cummins. LSTM utilisant la rétropropagation dans le temps a été publié avec son étudiant Alex Graves en 2005, et son algorithme d'entraînement de classification temporelle connexionniste (CTC) en 2006. CTC a été appliqué à la reconnaissance vocale de bout en bout avec LSTM.
En 2014, l'état de l'art était l'entraînement de « réseaux de neurones très profonds » avec 20 à 30 couches. L'empilement de trop de couches entraînait une forte réduction de la précision d'entraînement, connue sous le nom de problème de « dégradation ». En mai 2015, Rupesh Kumar Srivastava, Klaus Greff et Schmidhuber ont utilisé les principes LSTM pour créer le réseau autoroutier (highway network), un réseau de neurones feedforward avec des centaines de couches, beaucoup plus profond que les réseaux précédents. En décembre 2015, le réseau résiduel (ResNet) a été publié, qui est une variante du réseau autoroutier.
En 1992, Schmidhuber a publié le programmeur de poids rapides, une alternative aux réseaux de neurones récurrents. Il comporte un réseau de neurones feedforward lent qui apprend par descente de gradient à contrôler les poids rapides d'un autre réseau de neurones par des produits externes de motifs d'activation auto-générés, et le réseau de poids rapides opère lui-même sur les entrées. Cela a ensuite été montré comme équivalent au transformateur linéaire non normalisé.
En 2011, l'équipe de Schmidhuber à l'IDSIA avec son postdoc Dan Ciresan a également réalisé des accélérations spectaculaires des réseaux de neurones convolutifs (CNN) en utilisant des unités de traitement graphique (GPU), sur la base de conceptions CNN introduites beaucoup plus tôt par Kunihiko Fukushima. Un CNN antérieur sur GPU par Chellapilla et al. (2006) était 4 fois plus rapide qu'une implémentation équivalente sur CPU. Le CNN profond de Dan Ciresan et al. (2011) à l'IDSIA était 60 fois plus rapide et a atteint la première performance surhumaine dans un concours de vision par ordinateur en août 2011. Entre le 15 mai 2011 et le 10 septembre 2012, ces CNN ont remporté quatre autres concours d'images et amélioré l'état de l'art sur plusieurs références d'images. Cette approche est devenue centrale dans le domaine de la vision par ordinateur.
Controverses sur le crédit
Schmidhuber a soutenu de manière controversée que lui et d'autres chercheurs n'ont pas reçu une reconnaissance adéquate pour leur contribution au domaine de l'apprentissage profond, au profit de Geoffrey Hinton, Yoshua Bengio et Yann LeCun, qui ont partagé le prix Turing 2018 pour leurs travaux en apprentissage profond. Il a écrit un article « cinglant » en 2015 soutenant que Hinton, Bengio et LeCun « se citent abondamment » mais « ne créditent pas les pionniers du domaine ». Dans une déclaration au New York Times, Yann LeCun a écrit que « Jürgen est obsédé par la reconnaissance et revendique du crédit qu'il ne mérite pas pour beaucoup, beaucoup de choses ».
Héritage et impact
Les travaux de Schmidhuber sur LSTM ont eu un impact profond sur l'apprentissage automatique et l'intelligence artificielle. Les réseaux LSTM ont été utilisés dans des applications allant de la reconnaissance vocale et de la traduction automatique à la reconnaissance de l'écriture manuscrite et à la prédiction de séries temporelles. Ses contributions au méta-apprentissage et à l'entraînement antagoniste ont également influencé le développement des systèmes d'IA modernes, y compris ceux utilisés dans les grands modèles de langage et d'autres architectures avancées.
Malgré les controverses sur le crédit, Schmidhuber reste une figure très influente dans la recherche en IA. Son insistance sur l'exactitude historique et l'attribution appropriée a suscité d'importantes discussions sur la reconnaissance des travaux fondateurs dans le domaine. À l'époque actuelle, ses idées continuent de façonner l'orientation de la recherche et du développement en IA.