Jascha Sohl-Dickstein é um cientista da computação e pesquisador em aprendizado de máquina e inteligência artificial. Ele é mais conhecido como o autor principal do artigo de 2015 "Deep Unsupervised Learning using Nonequilibrium Thermodynamics", que introduziu os modelos probabilísticos de difusão - uma classe de modelos de IA generativa que mais tarde se tornaram centrais para sistemas de geração de imagens e vídeos. Seu trabalho conecta física estatística, otimização e aprendizado profundo.
Sohl-Dickstein recebeu seu PhD pela Universidade da Califórnia, Berkeley, onde trabalhou com aprendizado de máquina e neurociência computacional. Posteriormente, ocupou posições na Universidade de Stanford e no Instituto de Ciências do Cérebro RIKEN antes de ingressar no Google Brain em 2015. No Google Brain, contribuiu para pesquisas sobre otimização, generalização e modelagem generativa. Em 2021, mudou-se para o Google DeepMind como cientista de pesquisa, e em 2023 ingressou na Anthropic, onde tem se concentrado na interpretabilidade e segurança de sistemas de IA em larga escala.
Modelos de Difusão e Trabalho Generativo Inicial
O artigo de 2015 de Sohl-Dickstein, coautorado com Eric Weiss, Niru Maheswaranathan e Surya Ganguli, propôs uma estrutura para modelagem generativa baseada em adicionar ruído gradualmente aos dados e depois aprender a reverter esse processo. A abordagem se baseava em termodinâmica de não equilíbrio e foi inicialmente ofuscada por outros métodos generativos, como redes adversárias generativas e autoencoders variacionais. No entanto, mais tarde tornou-se a base para sistemas de alto perfil como DALL-E e Stable Diffusion, que usam modelos de difusão para produzir imagens realistas a partir de prompts de texto. O artigo é agora amplamente citado como um precursor-chave dos sistemas modernos de IA generativa.
Contribuições de Pesquisa
Além dos modelos de difusão, Sohl-Dickstein publicou sobre uma variedade de tópicos em aprendizado de máquina. Seu trabalho inclui estudos sobre a geometria das paisagens de perda, a dinâmica do treinamento de redes neurais e o papel do ruído na otimização. Ele também investigou a conexão entre aprendizado profundo e neurociência, particularmente como circuitos biológicos podem implementar regras de aprendizado semelhantes às usadas em redes artificiais. Sua pesquisa frequentemente enfatiza a compreensão teórica junto com resultados empíricos.
Na OpenAI - onde foi cientista de pesquisa de 2017 a 2018 - ele trabalhou em modelos generativos em larga escala e contribuiu para os primeiros esforços em pesquisa de modelos de linguagem de grande escala. Seu tempo lá coincidiu com o desenvolvimento da arquitetura Transformer, embora seu foco principal permanecesse em modelagem generativa e otimização.
Carreira Posterior e Interpretabilidade
Após retornar ao Google Brain e depois mudar-se para o Google DeepMind, Sohl-Dickstein continuou a explorar os fundamentos teóricos do aprendizado profundo. Ele coautorou artigos sobre o viés implícito da descida de gradiente, o efeito do tamanho do lote na generalização e o comportamento de escala das redes neurais. Seu trabalho sobre a relação entre tamanho do modelo e desempenho informou diretrizes práticas para treinar modelos grandes.
Em 2023, Sohl-Dickstein ingressou na Anthropic, onde tem trabalhado em interpretabilidade mecanicista - o esforço para entender os cálculos internos das redes neurais. Isso inclui analisar como os transformers representam conceitos e como identificar circuitos dentro deles. Seu histórico em física e otimização tem sido valioso no desenvolvimento de métodos para engenharia reversa do comportamento de modelos complexos.
Impacto e Reconhecimento
O artigo de difusão de 2015 foi reconhecido como um dos trabalhos mais influentes na IA moderna. Ele estabeleceu as bases para uma família de modelos que agora alimentam ferramentas amplamente usadas para síntese de imagens, geração de áudio e aplicações científicas. As contribuições mais amplas de Sohl-Dickstein para otimização e teoria do aprendizado também foram extensivamente citadas. Ele falou em grandes conferências e workshops, e seu trabalho foi apresentado tanto em ambientes acadêmicos quanto na mídia popular.
A carreira de Sohl-Dickstein ilustra a natureza interdisciplinar da pesquisa em IA, combinando insights de física, estatística e ciência da computação. Sua trajetória - da academia aos laboratórios de pesquisa da indústria - espelha o crescimento do próprio campo, à medida que ideias fundamentais dos anos 2010 se tornaram a base para produtos comerciais nos anos 2020.
Publicações Selecionadas
- Sohl-Dickstein, J., Weiss, E., Maheswaranathan, N., & Ganguli, S. (2015). Deep Unsupervised Learning using Nonequilibrium Thermodynamics. International Conference on Machine Learning (ICML).
- Sohl-Dickstein, J., Poole, B., & Ganguli, S. (2014). Fast large-scale optimization by unifying stochastic gradient and quasi-Newton methods. ICML.
- Sohl-Dickstein, J., et al. (2020). On the relationship between batch size and generalization. (Preprint).
Esses trabalhos foram influentes na forma como pesquisadores pensam sobre modelagem generativa e otimização em aprendizado profundo.