Jascha Sohl-Dickstein es un informático e investigador en aprendizaje automático y inteligencia artificial. Es más conocido como el autor principal del artículo de 2015 "Deep Unsupervised Learning using Nonequilibrium Thermodynamics", que introdujo los modelos probabilísticos de difusión - una clase de modelos de IA generativa que más tarde se volvieron centrales para los sistemas de generación de imágenes y videos. Su trabajo conecta la física estadística, la optimización y el aprendizaje profundo.
Sohl-Dickstein recibió su doctorado en la Universidad de California, Berkeley, donde trabajó en aprendizaje automático y neurociencia computacional. Posteriormente ocupó puestos en la Universidad de Stanford y en el Instituto de Ciencias del Cerebro RIKEN antes de unirse a Google Brain en 2015. En Google Brain, contribuyó a la investigación sobre optimización, generalización y modelado generativo. En 2021, se trasladó a Google DeepMind como investigador científico, y en 2023 se unió a Anthropic, donde se ha centrado en la interpretabilidad y la seguridad de los sistemas de IA a gran escala.
Modelos de Difusión y Trabajo Generativo Temprano
El artículo de 2015 de Sohl-Dickstein, coescrito con Eric Weiss, Niru Maheswaranathan y Surya Ganguli, propuso un marco para el modelado generativo basado en añadir ruido gradualmente a los datos y luego aprender a revertir ese proceso. El enfoque se basaba en la termodinámica de no equilibrio y fue inicialmente eclipsado por otros métodos generativos como las redes generativas adversariales y los autoencoders variacionales. Sin embargo, más tarde se convirtió en la base de sistemas de alto perfil como DALL-E y Stable Diffusion, que utilizan modelos de difusión para producir imágenes realistas a partir de indicaciones de texto. El artículo ahora es ampliamente citado como un precursor clave de los sistemas modernos de IA generativa.
Contribuciones de Investigación
Más allá de los modelos de difusión, Sohl-Dickstein ha publicado sobre una variedad de temas en aprendizaje automático. Su trabajo incluye estudios sobre la geometría de los paisajes de pérdida, la dinámica del entrenamiento de redes neuronales y el papel del ruido en la optimización. También ha investigado la conexión entre el aprendizaje profundo y la neurociencia, particularmente cómo los circuitos biológicos podrían implementar reglas de aprendizaje similares a las utilizadas en las redes artificiales. Su investigación a menudo enfatiza la comprensión teórica junto con los resultados empíricos.
En OpenAI - donde fue investigador científico de 2017 a 2018 - trabajó en modelos generativos a gran escala y contribuyó a los primeros esfuerzos en la investigación de modelos de lenguaje grandes. Su tiempo allí coincidió con el desarrollo de la arquitectura Transformer, aunque su enfoque principal permaneció en el modelado generativo y la optimización.
Carrera Posterior e Interpretabilidad
Después de regresar a Google Brain y luego trasladarse a Google DeepMind, Sohl-Dickstein continuó explorando los fundamentos teóricos del aprendizaje profundo. Coescribió artículos sobre el sesgo implícito del descenso de gradiente, el efecto del tamaño de lote en la generalización y el comportamiento de escalado de las redes neuronales. Su trabajo sobre la relación entre el tamaño del modelo y el rendimiento ha informado pautas prácticas para entrenar modelos grandes.
En 2023, Sohl-Dickstein se unió a Anthropic, donde ha trabajado en interpretabilidad mecanicista - el esfuerzo por comprender los cálculos internos de las redes neuronales. Esto incluye analizar cómo los transformers representan conceptos y cómo identificar circuitos dentro de ellos. Su formación en física y optimización ha sido valiosa para desarrollar métodos que permitan revertir la ingeniería del comportamiento de modelos complejos.
Impacto y Reconocimiento
El artículo de difusión de 2015 ha sido reconocido como uno de los trabajos más influyentes en la IA moderna. Sentó las bases para una familia de modelos que ahora impulsan herramientas ampliamente utilizadas para la síntesis de imágenes, la generación de audio y aplicaciones científicas. Las contribuciones más amplias de Sohl-Dickstein a la optimización y la teoría del aprendizaje también han sido citadas extensamente. Ha hablado en conferencias y talleres importantes, y su trabajo ha sido destacado tanto en entornos académicos como en medios populares.
La carrera de Sohl-Dickstein ilustra la naturaleza interdisciplinaria de la investigación en IA, combinando conocimientos de la física, la estadística y la informática. Su trayectoria - desde la academia hasta los laboratorios de investigación industrial - refleja el crecimiento del propio campo, ya que las ideas fundamentales de la década de 2010 se convirtieron en la base de productos comerciales en la década de 2020.
Publicaciones Seleccionadas
- Sohl-Dickstein, J., Weiss, E., Maheswaranathan, N., & Ganguli, S. (2015). Deep Unsupervised Learning using Nonequilibrium Thermodynamics. International Conference on Machine Learning (ICML).
- Sohl-Dickstein, J., Poole, B., & Ganguli, S. (2014). Fast large-scale optimization by unifying stochastic gradient and quasi-Newton methods. ICML.
- Sohl-Dickstein, J., et al. (2020). On the relationship between batch size and generalization. (Preprint).
Estos trabajos han sido influyentes en la forma en que los investigadores piensan sobre el modelado generativo y la optimización en aprendizaje profundo.