Jürgen Schmidhuber est un informaticien allemand et co-directeur scientifique de l'Institut Dalle Molle pour la recherche en intelligence artificielle (IDSIA) à Lugano, en Suisse. Il est surtout connu pour avoir co-inventé le réseau de mémoire à long et court terme (LSTM) avec son étudiant de l'époque, Sepp Hochreiter, en 1997, l'une des architectures de réseaux de neurones récurrents les plus utilisées pendant deux décennies dans les travaux de traitement du langage naturel et de modélisation de séquences avant l'essor du transformeur.
Carrière et recherche
Né en 1963 à Munich, Schmidhuber a obtenu son doctorat à l'Université technique de Munich en 1991 et a passé la majeure partie de sa carrière à l'IDSIA, où il a construit l'un des laboratoires européens influents pour la recherche en apprentissage profond bien avant l'essor grand public de ce domaine en 2012. Le groupe de l'IDSIA a également produit des succès pratiques précoces dans les compétitions de reconnaissance d'écriture manuscrite et d'images à la fin des années 2000, en utilisant des réseaux profonds accélérés par GPU, des travaux qui ont précédé mais parallélisé le résultat plus largement médiatisé d'AlexNet en 2012. Au-delà du LSTM, son laboratoire a produit des travaux précoces sur l'entraînement des réseaux récurrents, la curiosité artificielle et la motivation intrinsèque pour les agents d'apprentissage par renforcement, ainsi que les réseaux autoroutiers (Highway Networks), un précurseur des connexions résiduelles utilisées plus tard dans les classifieurs d'images très profonds.
Disputes de priorité
Schmidhuber est devenu presque aussi connu pour avoir publiquement et à plusieurs reprises affirmé que le domaine sous-estime ses travaux et ceux de ses collaborateurs par rapport à des chercheurs comme Geoffrey Hinton, Yann LeCun et Yoshua Bengio. Il a prétendu que des idées clés derrière la rétropropagation, le réseau antagoniste génératif (en créditant une formulation antérieure de curiosité antagoniste) et des éléments des mécanismes d'attention utilisés dans les transformeurs avaient été anticipées par des travaux antérieurs affiliés à l'IDSIA, qu'il dit avoir été négligés lorsque Hinton, LeCun et Bengio ont reçu le prix Turing 2018. Ces disputes, exposées dans des articles de blog, des remarques lors de conférences et des interviews, ont fait de lui une figure controversée mais étroitement suivie au sein de la communauté de recherche en intelligence artificielle, où les questions de priorité dans un domaine en évolution rapide sont fréquemment contestées.
Projets ultérieurs
Schmidhuber a cofondé NNAISENSE, une entreprise appliquant des méthodes basées sur les réseaux récurrents et l'apprentissage par renforcement à des problèmes industriels et robotiques, et a continué à publier sur les systèmes d'apprentissage à usage général et les limites théoriques de l'intelligence, maintenant que de nombreuses idées désormais centrales dans la recherche en apprentissage automatique et sur les agents d'IA modernes remontent plus loin que ce qui est communément reconnu. Il a également écrit abondamment sur les théories formelles de solveurs de problèmes universels optimaux et limités en ressources, des travaux qui restent largement en dehors du courant dominant de l'apprentissage profond industriel mais qu'il présente comme une voie plus fondée sur des principes à long terme vers une intelligence artificielle à usage général, plutôt que la seule augmentation progressive de l'échelle.