Sepp Hochreiter é um cientista da computação alemão conhecido por duas contribuições influentes para o aprendizado profundo, feitas com duas décadas de intervalo: identificar o problema do gradiente vanishing no início dos anos 1990 e, mais recentemente, propor o xLSTM como um concorrente da arquitetura transformador que deslocou seu trabalho anterior como o modelo sequencial dominante.
Gradientes vanishing e LSTM
Em sua tese de diploma de 1991, orientada por Jürgen Schmidhuber na Universidade Técnica de Munique, Hochreiter mostrou matematicamente por que o treinamento de redes neurais recorrentes padrão com retropropagação através do tempo tende a falhar em sequências longas: os gradientes de erro ou encolhem em direção a zero ou crescem de forma descontrolada à medida que são propagados para trás por muitos passos de tempo, tornando muito difícil para arquiteturas de redes neurais iniciais aprender dependências que abrangem mais do que alguns passos. Esse diagnóstico, amplamente ignorado fora dos círculos de IA de língua alemã na época, motivou diretamente o design da memória de longo e curto prazo (LSTM), que Hochreiter e Schmidhuber publicaram em 1997. A LSTM introduziu células de memória com portas que podiam preservar informações por longos períodos e se tornou a arquitetura padrão para tarefas como tradução automática, reconhecimento de fala e geração de texto ao longo das décadas de 2000 e 2010, antes do artigo de 2017 "Attention Is All You Need" introduzir os transformadores.
Carreira posterior
Hochreiter é professor na Universidade Johannes Kepler de Linz, onde lidera o Instituto de Aprendizado de Máquina e dirige uma unidade do Laboratório Europeu de Aprendizado e Sistemas Inteligentes (ELLIS). Seu laboratório também trabalhou em descoberta de medicamentos e aplicações de química do aprendizado de máquina, usando redes profundas para prever propriedades moleculares e selecionar compostos candidatos muito antes de tais aplicações se tornarem um subcampo amplamente financiado por direito próprio. Em 2024, seu grupo introduziu o xLSTM, uma versão atualizada da arquitetura original com portas exponenciais e estruturas de memória revisadas, posicionada como uma alternativa mais eficiente computacionalmente aos transformadores para certas tarefas de sequência longa, parte de uma onda mais ampla de interesse em alternativas aos transformadores, junto com abordagens como a família de modelos de espaço de estado. Hochreiter cofundou a empresa NXAI para comercializar essa linha de pesquisa, argumentando que a Europa deveria investir em arquiteturas de modelos de fundação desenvolvidos localmente, em vez de depender exclusivamente de designs de modelos de linguagem de grande escala baseados em transformadores de grandes laboratórios dos EUA, enquadrando o xLSTM como evidência de que arquiteturas mais antigas e bem compreendidas ainda têm espaço para melhorias significativas.