Jonathan Ho는 생성형 AI의 기초적 기여, 특히 denoising diffusion probabilistic models(DDPM)의 개발로 인정받는 컴퓨터 과학자이자 연구자이다. 2020년에 발표된 그의 연구는 무작위 노이즈를 반복적으로 제거하여 고품질 이미지를 생성하는 Machine learning 모델 클래스를 도입했으며, 이 방법은 이후 현대 생성 시스템의 초석이 되었다. Ho의 연구는 학술 및 산업 응용에 영향을 미쳤으며, 텍스트-이미지 및 텍스트-비디오 생성에 이르기까지 주요 AI 연구 기관에서 널리 채택되었다.
Ho는 University of Toronto에서 박사 학위를 받았으며, Anima Anandkumar의 지도 아래 연구를 수행했고 Vector Institute와 연계되었다. 그의 박사 연구는 심층 생성 모델과 확률적 추론에 초점을 맞추었으며, 이후 혁신의 기반을 마련했다. 2020년 박사 학위를 마친 후 Ho는 OpenAI에 연구 과학자로 합류하여 확산 기반 방법을 계속 발전시켰다. 이후 2022년 Google DeepMind로 옮겨 대규모 생성 모델과 그 응용에 기여했다.
Denoising Diffusion Probabilistic Models
2020년 6월, Ho는 Ajay Jain 및 Pieter Abbeel과 함께 "Denoising Diffusion Probabilistic Models" 논문을 arXiv에 발표했다. 이 논문은 Sohl-Dickstein 등(2015)과 Song & Ermon(2019)의 초기 연구를 기반으로 생성 모델링의 새로운 패러다임을 도입했다. 핵심 혁신은 가중 변분 경계와 예측 노이즈와 실제 노이즈 간의 단순 평균 제곱 오차 손실을 사용하여 확산 과정을 단순화한 훈련 목표였다. 이 접근 방식은 안정적인 훈련을 가능하게 하고 고품질 샘플을 생성하여 CIFAR-10 및 CelebA-HQ와 같은 이미지 생성 벤치마크에서 최첨단 결과를 달성했다.
DDPM 프레임워크는 두 단계로 작동한다: 고정된 시간 단계에 걸쳐 데이터에 점진적으로 가우시안 노이즈를 추가하는 전방 과정과 노이즈를 제거하는 방법을 학습하는 역방향 과정이다. 일반적으로 U-Net과 Residual Network (ResNet) 블록 및 주의 메커니즘으로 구현되는 모델은 각 단계에서 노이즈를 예측한다. Ho의 연구는 이 단순한 공식이 생성적 적대 신경망(GAN)과 비교할 수 있는 충실도로 이미지를 생성하면서도 더 나은 훈련 안정성과 모드 커버리지를 제공할 수 있음을 입증했다.
생성형 AI에 미친 영향
DDPM은 확산 기반 연구의 급속한 확장을 촉진했다. 2021년 Ho는 "Diffusion Models Beat GANs on Image Synthesis"를 공동 저술하여 확산 모델이 분류기 안내를 통합함으로써 샘플 품질에서 GAN을 능가할 수 있음을 보여주었다. OpenAI 동료들과 협력하여 수행된 이 연구는 확산 모델을 고충실도 이미지 생성의 선도적 접근 방식으로 확립했다. 이후 잠재 확산 모델 및 텍스트 조건 확산과 같은 후속 개발은 Stable Diffusion 및 DALL-E 2와 같은 시스템의 창출로 이어졌으며, 이는 창의적 및 상업적 응용에서 널리 사용되고 있다.
Ho의 기여는 비디오 생성으로 확장된다. 2022년 그는 "Video Diffusion Models"를 공동 저술하여 확산 프레임워크를 일관된 비디오 시퀀스 생성에 적용했다. 이 연구는 Google DeepMind 및 다른 연구소에서 개발된 후속 비디오 생성 시스템에 영향을 미쳤다. 확산 모델의 확장성은 Neural network 아키텍처 및 Data Augmentation의 발전과 결합되어 다중 모달 콘텐츠 생성에서 Large language model 기반 접근 방식과 경쟁하는 생성형 AI의 지배적 힘이 되었다.
연구 철학 및 협력
Ho의 연구는 단순성과 경험적 효과성을 강조한다. 그의 DDPM 논문은 명확하고 재현 가능한 방법론으로 유명하며, 연구 커뮤니티의 빠른 채택을 촉진했다. 그는 Google DeepMind에서 Jakob Uszkoreit 및 Llion Jones을 포함한 저명한 연구자들과 협력하여 이미지 및 비디오 합성 관련 프로젝트를 수행했다. 그의 접근 방식은 Adam (Optimizer) 및 Learning Rate Scheduling과 같은 확립된 기술을 활용하면서 실질적 이득을 제공하는 아키텍처 혁신에 초점을 맞추는 경우가 많다.
OpenAI에서 Ho는 분류기 안내를 사용하여 원하는 속성으로 생성을 유도하는 안내 확산 모델 개발에 기여했다. 2021년에 발표된 이 연구는 확산 모델이 클래스 레이블이나 텍스트 프롬프트로 조건화될 수 있음을 보여주며 텍스트-이미지 시스템의 길을 열었다. 노이즈 스케줄 및 손실 가중치의 역할을 포함한 확산 모델의 훈련 역학에 대한 그의 통찰은 이후 분야 전반의 연구에 정보를 제공했다.
인정 및 영향
DDPM 논문은 머신 러닝에서 가장 많이 인용된 연구 중 하나가 되었으며, 몇 년 안에 수천 건의 인용을 기록했다. Ho의 연구는 NeurIPS 2021에서 "Diffusion Models Beat GANs on Image Synthesis"로 최우수 논문상을 포함한 상을 수상하며 인정받았다. 그는 주요 컨퍼런스 및 워크숍에서 초청 연사로 활동했으며, 그의 방법은 생성 모델링의 고급 과정에서 가르쳐지고 있다. "확산 모델"이라는 용어 자체가 AI 용어집에서 표준이 되었으며, Ho는 이 패러다임의 핵심 설계자로 널리 인정받고 있다.
이후 경력 및 현재 작업
2024년 현재 Ho는 Google DeepMind에서 계속 연구하며 오디오 및 3D 생성과 같은 새로운 영역으로 확산 모델을 확장하는 데 집중하고 있다. 그의 최근 연구는 Reinforcement learning 및 Reinforcement Learning from AI Feedback (RLAIF)와의 확산 모델 교차점을 탐구하여 샘플 품질과 인간 선호도 정렬을 개선하는 것을 목표로 한다. 그는 또한 단백질 구조 예측과 같은 과학적 응용에서 확산 모델 사용을 조사하며 Bhabha Atomic Research Centre 및 Samsung Research와 같은 그룹과 협력하고 있다. Ho의 지속적인 기여는 확산 모델이 예술 및 엔터테인먼트에서 약물 발견 및 로봇 공학에 이르는 분야에 영향을 미치며 생성형 AI 연구의 최전선에 머물도록 보장한다.
분야의 급속한 진화에도 불구하고 DDPM에 대한 Ho의 기초 작업은 많은 최첨단 시스템의 기반을 계속 제공하고 있다. 복잡한 아이디어를 실용적인 알고리즘으로 정제하는 그의 능력은 그를 Artificial intelligence 역사에서 중추적 인물로 만들었으며, 그의 연구 궤적은 컴퓨터 비전, 최적화 및 확률적 모델링을 연결하는 현대 머신 러닝의 학제적 특성을 반영한다.