Sepp Hochreiter es un informático alemán conocido por dos contribuciones influyentes al aprendizaje profundo realizadas con dos décadas de diferencia: identificar el problema del desvanecimiento del gradiente a principios de los años 1990 y, más recientemente, proponer xLSTM como competidor de la arquitectura transformador que desplazó su trabajo anterior como modelo secuencial dominante.
Desvanecimiento de gradientes y LSTM
En su tesis de diploma de 1991, supervisada por Jürgen Schmidhuber en la Universidad Técnica de Múnich, Hochreiter demostró matemáticamente por qué el entrenamiento estándar de redes neuronales recurrentes con retropropagación a través del tiempo tiende a fallar en secuencias largas: los gradientes de error o se reducen hacia cero o crecen sin control al propagarse hacia atrás a través de muchos pasos de tiempo, lo que dificulta enormemente que las arquitecturas tempranas de redes neuronales aprendan dependencias que abarcan más de unos pocos pasos. Este diagnóstico, en gran medida ignorado fuera de los círculos de IA de habla alemana en ese momento, motivó directamente el diseño de la memoria a largo plazo (LSTM), que Hochreiter y Schmidhuber publicaron en 1997. LSTM introdujo celdas de memoria con compuertas que podían preservar información durante largos intervalos, y se convirtió en la arquitectura predeterminada para tareas como la traducción automática, el reconocimiento de voz y la generación de texto durante las décadas de 2000 y 2010, antes de que el artículo de 2017 Attention Is All You Need introdujera los transformadores.
Carrera posterior
Hochreiter es profesor en la Universidad Johannes Kepler de Linz, donde dirige el Instituto de Aprendizaje Automático y encabeza una unidad del Laboratorio Europeo de Aprendizaje y Sistemas Inteligentes (ELLIS). Su laboratorio también ha trabajado en aplicaciones de aprendizaje automático para el descubrimiento de fármacos y la química, utilizando redes profundas para predecir propiedades moleculares y cribar compuestos candidatos mucho antes de que tales aplicaciones se convirtieran en un subcampo ampliamente financiado por derecho propio. En 2024, su grupo introdujo xLSTM, una versión actualizada de la arquitectura original con compuertas exponenciales y estructuras de memoria revisadas, posicionada como una alternativa más eficiente computacionalmente a los transformadores para ciertas tareas de secuencias largas, parte de una ola más amplia de interés en alternativas a los transformadores junto con enfoques como la familia modelos de espacio de estados. Hochreiter cofundó la empresa NXAI para comercializar esta línea de investigación, argumentando que Europa debería invertir en arquitecturas de modelos fundacionales desarrollados localmente en lugar de depender únicamente de diseños de modelos de lenguaje grandes basados en transformadores de los principales laboratorios estadounidenses, presentando xLSTM como evidencia de que las arquitecturas más antiguas y bien comprendidas aún tienen margen para una mejora significativa.