Jascha Sohl-Dickstein은 Machine learning 및 Artificial intelligence 분야의 컴퓨터 과학자이자 연구원입니다. 그는 2015년 논문 "Deep Unsupervised Learning using Nonequilibrium Thermodynamics"의 주 저자로 가장 잘 알려져 있으며, 이 논문은 확산 확률 모델을 도입했습니다 - 이는 이후 이미지 및 비디오 생성 시스템의 핵심이 된 Generative AI 모델 클래스입니다. 그의 연구는 통계 물리학, 최적화, 그리고 Deep learning을 연결합니다.
Sohl-Dickstein은 캘리포니아 대학교 버클리에서 박사 학위를 받았으며, 그곳에서 머신러닝과 계산 신경과학을 연구했습니다. 이후 스탠포드 대학교와 RIKEN 뇌과학 연구소에서 직책을 맡았으며, 2015년에 Google Brain에 합류했습니다. Google Brain에서 그는 최적화, 일반화, 그리고 생성 모델링에 관한 연구에 기여했습니다. 2021년에는 Google DeepMind로 이동하여 연구 과학자로 활동했고, 2023년에는 Anthropic에 합류하여 대규모 AI 시스템의 해석 가능성과 안전성에 집중했습니다.
확산 모델 및 초기 생성 연구
Sohl-Dickstein의 2015년 논문은 Eric Weiss, Niru Maheswaranathan, Surya Ganguli와 공동 저술한 것으로, 데이터에 점진적으로 노이즈를 추가한 후 그 과정을 역전시키는 방법을 학습하는 생성 모델링 프레임워크를 제안했습니다. 이 접근 방식은 비평형 열역학에 기반을 두었으며, 처음에는 생성적 적대 신경망 및 변분 오토인코더와 같은 다른 생성 방법에 가려졌습니다. 그러나 이후 DALL-E 및 Stable Diffusion과 같은 주목할 만한 시스템의 기반이 되었으며, 이들은 확산 모델을 사용하여 텍스트 프롬프트에서 사실적인 이미지를 생성합니다. 이 논문은 현재 현대 Generative AI 시스템의 핵심 선구자로 널리 인용됩니다.
연구 기여
확산 모델 외에도 Sohl-Dickstein은 Machine learning의 다양한 주제에 대해 발표했습니다. 그의 연구에는 손실 지형의 기하학, Neural network 훈련의 역학, 그리고 최적화에서 노이즈의 역할에 대한 연구가 포함됩니다. 그는 또한 딥러닝과 신경과학의 연결, 특히 생물학적 회로가 인공 네트워크에서 사용되는 것과 유사한 학습 규칙을 구현할 수 있는 방법을 조사했습니다. 그의 연구는 종종 경험적 결과와 함께 이론적 이해를 강조합니다.
OpenAI에서 - 2017년부터 2018년까지 연구 과학자로 재직 - 그는 대규모 생성 모델을 연구했으며 Large language model 연구의 초기 노력에 기여했습니다. 그의 그 시절은 Transformer 아키텍처 개발과 겹쳤지만, 그의 주요 관심사는 생성 모델링과 최적화에 남아 있었습니다.
후기 경력 및 해석 가능성
Google Brain으로 복귀한 후 Google DeepMind로 이동한 Sohl-Dickstein은 딥러닝의 이론적 기초를 계속 탐구했습니다. 그는 경사 하강법의 암묵적 편향, 배치 크기가 일반화에 미치는 영향, 그리고 신경망의 스케일링 동작에 관한 논문을 공동 저술했습니다. 모델 크기와 성능 간의 관계에 대한 그의 연구는 대규모 모델 훈련을 위한 실용적 지침에 정보를 제공했습니다.
2023년, Sohl-Dickstein은 Anthropic에 합류하여 기계적 해석 가능성 - 신경망의 내부 계산을 이해하려는 노력 - 에 대해 연구했습니다. 이는 트랜스포머가 개념을 어떻게 표현하는지 분석하고 그 안의 회로를 식별하는 방법을 포함합니다. 그의 물리학 및 최적화 배경은 복잡한 모델의 동작을 역공학하는 방법을 개발하는 데 유용했습니다.
영향 및 인정
2015년 확산 논문은 현대 AI에서 가장 영향력 있는 연구 중 하나로 인정받았습니다. 이 논문은 현재 이미지 합성, 오디오 생성, 그리고 과학적 응용에 널리 사용되는 도구를 구동하는 모델 계열의 기초를 마련했습니다. 최적화 및 학습 이론에 대한 Sohl-Dickstein의 광범위한 기여도 많이 인용되었습니다. 그는 주요 컨퍼런스와 워크숍에서 연설했으며, 그의 연구는 학술 매체와 대중 매체 모두에서 소개되었습니다.
Sohl-Dickstein의 경력은 AI 연구의 학제적 성격을 보여주며, 물리학, 통계학, 그리고 컴퓨터 과학의 통찰을 결합합니다. 그의 궤적 - 학계에서 산업 연구소로 - 은 2010년대의 기초 아이디어가 2020년대의 상업 제품의 기반이 된 분야 자체의 성장을 반영합니다.
주요 발표
- Sohl-Dickstein, J., Weiss, E., Maheswaranathan, N., & Ganguli, S. (2015). Deep Unsupervised Learning using Nonequilibrium Thermodynamics. International Conference on Machine Learning (ICML).
- Sohl-Dickstein, J., Poole, B., & Ganguli, S. (2014). Fast large-scale optimization by unifying stochastic gradient and quasi-Newton methods. ICML.
- Sohl-Dickstein, J., et al. (2020). On the relationship between batch size and generalization. (Preprint).
이러한 연구는 연구자들이 Deep learning에서 생성 모델링과 최적화를 생각하는 방식을 형성하는 데 영향력을 발휘했습니다.