Jürgen Schmidhuber (nascido em 17 de janeiro de 1963) é um cientista da computação alemão conhecido por seu trabalho em inteligência artificial, especificamente redes neurais artificiais. Ele foi descrito por veículos de mídia como um pioneiro líder da inteligência artificial moderna. Ele é diretor científico do Instituto Dalle Molle de Pesquisa em Inteligência Artificial, na Suíça, e diretor da Iniciativa de Inteligência Artificial da Universidade de Ciência e Tecnologia King Abdullah (KAUST), na Arábia Saudita.
Schmidhuber é mais conhecido por seu trabalho em memória de curto e longo prazo (LSTM), um tipo de arquitetura de rede neural que se tornou a técnica dominante para várias tarefas de processamento de linguagem natural em pesquisas e aplicações comerciais na década de 2010. Ele também introduziu princípios de redes neurais dinâmicas, meta-aprendizado, redes adversariais generativas e transformadores lineares, todos amplamente difundidos na IA moderna.
Início da vida e educação
Schmidhuber nasceu em Munique, Alemanha. Ele completou seus estudos de graduação em 1987 e obteve seu doutorado em 1991, ambos na Universidade Técnica de Munique. Seus orientadores de doutorado foram Wilfried Brauer e Klaus Schulten.
Carreira
Schmidhuber lecionou na Universidade Técnica de Munique de 2004 a 2009. De 2009 a 2021, foi professor de inteligência artificial na Università della Svizzera Italiana, em Lugano, Suíça. Ele atua como diretor do Instituto Dalle Molle de Pesquisa em Inteligência Artificial (IDSIA), um laboratório de IA suíço, desde 1995. Desde 2021, também é diretor da Iniciativa de IA na KAUST.
Em 2014, Schmidhuber fundou uma empresa, a NNAISENSE, para trabalhar em aplicações comerciais de inteligência artificial em áreas como finanças, indústria pesada e carros autônomos. Sepp Hochreiter, Jaan Tallinn e Marcus Hutter são consultores da empresa. As vendas foram inferiores a US$ 11 milhões em 2016; no entanto, Schmidhuber afirmou que a ênfase estava na pesquisa, não na receita. A NNAISENSE levantou sua primeira rodada de financiamento de capital em janeiro de 2017. O objetivo geral de Schmidhuber era criar uma IA de propósito geral treinando uma única IA em sequência em uma variedade de tarefas estreitas, mas, a partir de 2026, ele disse que o foco da NNAISENSE mudou da inteligência artificial geral para a gestão de ativos.
Pesquisa
Na década de 1980, a retropropagação não funcionava bem para aprendizado profundo com longos caminhos de atribuição de crédito em redes neurais artificiais. Para superar esse problema, Schmidhuber (1991) propôs uma hierarquia de redes neurais recorrentes (RNNs) pré-treinadas um nível por vez por aprendizado autossupervisionado. Ela usa codificação preditiva para aprender representações internas em múltiplas escalas de tempo auto-organizadas, facilitando o aprendizado profundo a jusante. A hierarquia de RNNs pode ser colapsada em uma única RNN destilando uma rede chunker de nível superior em uma rede automatizadora de nível inferior. Em 1993, um chunker resolveu uma tarefa de aprendizado profundo cuja profundidade excedia 1000.
Em 1991, Schmidhuber publicou redes neurais adversariais que competem entre si na forma de um jogo de soma zero, onde o ganho de uma rede é a perda da outra. A primeira rede é um modelo generativo que modela uma distribuição de probabilidade sobre padrões de saída. A segunda rede aprende por descida de gradiente a prever as reações do ambiente a esses padrões. Isso foi chamado de "curiosidade artificial". Em 2014, esse princípio foi usado na criação da rede adversarial generativa, que Schmidhuber descreve como um caso especial de curiosidade artificial em que a reação ambiental é 1 ou 0, dependendo se a saída da primeira rede está em um determinado conjunto.
Schmidhuber supervisionou a tese de diploma de 1991 de seu aluno Sepp Hochreiter, que ele considerou "um dos documentos mais importantes da história do aprendizado de máquina". Ela estudou o compressor de história neural e analisou e superou o problema do gradiente desaparecendo. Isso levou à criação da memória de curto e longo prazo (LSTM), um tipo de rede neural recorrente. O nome LSTM foi introduzido em um relatório técnico em 1995, levando à publicação mais citada sobre LSTM, publicada em 1997 e coautorada por Hochreiter e Schmidhuber. A arquitetura LSTM padrão foi introduzida em 2000 por Felix Gers, Schmidhuber e Fred Cummins. A LSTM usando retropropagação através do tempo foi publicada com seu aluno Alex Graves em 2005, e seu algoritmo de treinamento de classificação temporal conexionista (CTC) em 2006. O CTC foi aplicado ao reconhecimento de fala de ponta a ponta com LSTM.
Em 2014, o estado da arte era treinar uma "rede neural muito profunda" com 20 a 30 camadas. Empilhar muitas camadas levava a uma redução acentuada na precisão do treinamento, conhecida como problema de "degradação". Em maio de 2015, Rupesh Kumar Srivastava, Klaus Greff e Schmidhuber usaram princípios de LSTM para criar a rede de rodovias, uma rede neural feedforward com centenas de camadas, muito mais profunda do que as redes anteriores. Em dezembro de 2015, a rede neural residual (ResNet) foi publicada, sendo uma variante da rede de rodovias.
Em 1992, Schmidhuber publicou o programador de pesos rápidos, uma alternativa às redes neurais recorrentes. Ele possui uma rede neural feedforward lenta que aprende por gradiente descendente a controlar os pesos rápidos de outra rede neural, e a rede de pesos rápidos opera sobre entradas. Em 2011, a equipe de Schmidhuber no IDSIA, com Dan Ciresan, também alcançou acelerações dramáticas de redes neurais convolucionais (CNNs) usando unidades de processamento gráfico (GPUs), baseando-se no trabalho anterior de Kunihiko Fukushima. Uma CNN anterior em CPU (2006) era quatro vezes mais lenta que a versão em GPU. A CNN profunda de Dan Ciresan et al. no IDSIA foi 60 vezes mais rápida e alcançou desempenho sobre-humano em um concurso de visão computacional em agosto de 2011.
Disputas de crédito
Schmidhuber argumentou de forma controversa que ele e outros pesquisadores não tiveram reconhecimento adequado por sua contribuição ao campo do aprendizado profundo, em favor de Geoffrey Hinton, Yoshua Bengio e Yann LeCun, que compartilharam o Prêmio Turing de 2018 por seu trabalho em aprendizado profundo. Ele escreveu um artigo de 2015 "ácido" argumentando que Hinton, Bengio e LeCun "citam-se intensamente uns aos outros", mas "não creditam os pioneiros do campo". Em uma declaração ao New York Times, Yann LeCun escreveu que "Jürgen é obsessivamente preocupado com reconhecimento e reivindica crédito que não merece por muitas, muitas coisas".
Legado e impacto
O trabalho de Schmidhuber sobre LSTM teve um impacto profundo no aprendizado de máquina e na inteligência artificial. Redes LSTM têm sido usadas em aplicações que vão do reconhecimento de fala e tradução automática ao reconhecimento de caligrafia e previsão de séries temporais. Suas contribuições para o meta-aprendizado e o treinamento adversarial também influenciaram o desenvolvimento de sistemas de IA modernos, incluindo aqueles usados em modelos de linguagem de grande escala e outras arquiteturas avançadas.
Apesar das controvérsias sobre crédito, Schmidhuber permanece uma figura influente na pesquisa em IA. Sua insistência na precisão histórica e na atribuição adequada de crédito continua a gerar debates sobre o reconhecimento de contribuições fundamentais no campo. Em 2024, ele foi eleito membro da Associação para o Avanço da Inteligência Artificial (AAAI) e recebeu o Prêmio de Realização Técnica do IEEE por suas contribuições ao aprendizado profundo e redes neurais recorrentes. Seu trabalho continua a moldar a direção da pesquisa e do desenvolvimento em IA.