Sepp Hochreiter est un informaticien allemand connu pour deux contributions influentes à l'apprentissage profond espacées de deux décennies : l'identification du problème du gradient qui disparaît au début des années 1990, et, plus récemment, la proposition de xLSTM comme concurrent de l'architecture transformeur qui a supplanté ses travaux antérieurs en tant que modèle séquentiel dominant.
Gradients qui disparaissent et LSTM
Dans sa thèse de diplôme de 1991, supervisée par Jürgen Schmidhuber à l'Université technique de Munich, Hochreiter a montré mathématiquement pourquoi l'entraînement standard des réseaux neuronaux récurrents avec rétropropagation dans le temps tend à échouer sur les séquences longues : les gradients d'erreur soit diminuent vers zéro, soit croissent de manière incontrôlée lorsqu'ils sont propagés en arrière sur de nombreuses étapes temporelles, rendant très difficile pour les premières architectures de réseaux neuronaux d'apprendre des dépendances s'étendant sur plus de quelques étapes. Ce diagnostic, largement négligé en dehors des cercles germanophones d'IA à l'époque, a directement motivé la conception de la mémoire à long terme et à court terme (LSTM), que Hochreiter et Schmidhuber ont publiée en 1997. Le LSTM a introduit des cellules de mémoire à portes qui pouvaient préserver l'information sur de longues périodes, et est devenu l'architecture par défaut pour des tâches telles que la traduction automatique, la reconnaissance vocale et la génération de texte tout au long des années 2000 et 2010, avant que l'article de 2017 Attention Is All You Need ne présente les transformeurs.
Carrière ultérieure
Hochreiter est professeur à l'Université Johannes Kepler de Linz, où il dirige l'Institut pour l'apprentissage automatique et est à la tête d'une unité du Laboratoire européen pour les systèmes d'apprentissage et intelligents (ELLIS). Son laboratoire a également travaillé sur des applications de machine learning à la découverte de médicaments et à la chimie, utilisant des réseaux profonds pour prédire les propriétés moléculaires et filtrer des composés candidats, bien avant que de telles applications ne deviennent un sous-domaine largement financé à part entière. En 2024, son groupe a introduit xLSTM, une version mise à jour de l'architecture originale avec un gating exponentiel et des structures de mémoire révisées, positionnée comme une alternative plus efficace sur le plan computationnel aux transformeurs pour certaines tâches de séquences longues, dans le cadre d'une vague plus large d'intérêt pour les alternatives aux transformeurs, aux côtés d'approches comme la famille des modèles à espace d'état. Hochreiter a cofondé l'entreprise NXAI pour commercialiser cette ligne de recherche, arguant que l'Europe devrait investir dans des architectures de modèles fondamentaux développées localement plutôt que de s'appuyer uniquement sur les conceptions de grands modèles de langage basées sur les transformeurs issues des grands laboratoires américains, présentant xLSTM comme la preuve que des architectures plus anciennes et bien comprises ont encore une marge d'amélioration significative.