Jascha Sohl-Dickstein 是一位计算机科学家，专攻机器学习和人工智能领域。他以2015年论文《Deep Unsupervised Learning using Nonequilibrium Thermodynamics》的第一作者身份而闻名，该论文引入了扩散概率模型，，一类生成式AI模型，后来成为图像和视频生成系统的核心。他的研究连接了统计物理、优化和深度学习。
Sohl-Dickstein 在加州大学伯克利分校获得博士学位，研究方向为机器学习和计算神经科学。随后，他在斯坦福大学和RIKEN脑科学研究所任职，并于2015年加入Google Brain。在Google Brain期间，他参与了优化、泛化和生成建模方面的研究。2021年，他转至Google DeepMind担任研究科学家，并于2023年加入Anthropic，专注于大规模AI系统的可解释性和安全性。
扩散模型与早期生成工作
Sohl-Dickstein 的2015年论文与Eric Weiss、Niru Maheswaranathan和Surya Ganguli合作，提出了一种基于逐步向数据添加噪声并学习逆转该过程的生成建模框架。该方法借鉴了非平衡热力学，最初被生成对抗网络和变分自编码器等其他生成方法所掩盖。然而，它后来成为DALL-E和Stable Diffusion等知名系统的基础，这些系统利用扩散模型从文本提示生成逼真图像。该论文现被广泛引用为现代生成式AI系统的关键先驱。
研究贡献
除了扩散模型，Sohl-Dickstein 还发表了关于机器学习多个主题的研究。他的工作包括损失景观几何、神经网络训练动态以及优化中噪声作用的研究。他还探索了深度学习与神经科学之间的联系，特别是生物回路如何可能实现类似于人工网络中的学习规则。他的研究常强调理论理解与实证结果并重。
在OpenAI，，他于2017至2018年担任研究科学家，，期间，他从事大规模生成模型研究，并为早期的大语言模型研究做出了贡献。他的任职时间与Transformer架构的开发重叠，但他的主要关注点仍是生成建模和优化。
后期职业生涯与可解释性
在返回Google Brain并随后转至Google DeepMind后，Sohl-Dickstein 继续探索深度学习的理论基础。他合著了关于梯度下降隐式偏差、批大小对泛化影响以及神经网络缩放行为的论文。他关于模型大小与性能关系的研究为训练大型模型的实践指南提供了依据。
2023年，Sohl-Dickstein 加入Anthropic，从事机械可解释性研究，，即理解神经网络内部计算的工作。这包括分析Transformer如何表示概念以及如何识别其中的回路。他的物理学和优化背景在开发逆向工程复杂模型行为的方法中发挥了重要作用。
影响与认可
2015年的扩散论文被公认为现代AI最具影响力的工作之一。它为一系列模型奠定了基础，这些模型如今驱动着图像合成、音频生成和科学应用的广泛工具。Sohl-Dickstein 在优化和学习理论方面的更广泛贡献也获得了大量引用。他曾在主要会议和研讨会上发言，其工作既出现在学术场合，也见于大众媒体。
Sohl-Dickstein 的职业生涯展示了AI研究的跨学科性质，结合了物理学、统计学和计算机科学的见解。他的轨迹，，从学术界到工业研究实验室，，反映了该领域自身的成长，从2010年代的基础思想演变为2020年代商业产品的基础。
精选出版物
- Sohl-Dickstein, J., Weiss, E., Maheswaranathan, N., & Ganguli, S. (2015). Deep Unsupervised Learning using Nonequilibrium Thermodynamics. International Conference on Machine Learning (ICML).
- Sohl-Dickstein, J., Poole, B., & Ganguli, S. (2014). Fast large-scale optimization by unifying stochastic gradient and quasi-Newton methods. ICML.
- Sohl-Dickstein, J., et al. (2020). On the relationship between batch size and generalization. (Preprint).
这些工作在塑造研究者对深度学习中生成建模和优化的思考方式方面具有重要影响。