ジョナサン・ホーは、Generative AIへの基礎的な貢献、特にデノイジング拡散確率モデル（DDPM）の開発で知られるコンピューター科学者および研究者である。彼の2020年に発表された研究は、ランダムノイズを反復的にデノイズすることで高品質な画像を生成するMachine learningモデルのクラスを導入し、この手法は現代の生成システムの基盤となった。ホーの研究は、テキストから画像やテキストから動画への生成を含む学術的および産業的応用に影響を与え、主要なAI研究機関によって広く採用されている。
ホーはUniversity of Torontoで博士号を取得し、Anima Anandkumarの指導の下で研究し、Vector Instituteに所属していた。彼の博士研究は深層生成モデルと確率推論に焦点を当て、後の革新の基盤を築いた。2020年に博士号を取得した後、ホーはOpenAIに研究科学者として入社し、拡散ベースの手法をさらに発展させた。その後、2022年にGoogle DeepMindに移り、大規模生成モデルとその応用に貢献した。
デノイジング拡散確率モデル
2020年6月、ホーはAjay JainとPieter Abbeelと共に、論文「Denoising Diffusion Probabilistic Models」をarXivで発表した。この論文は、Sohl-Dicksteinら（2015年）とSong & Ermon（2019年）の初期の研究に基づき、生成モデリングの新しいパラダイムを導入した。主要な革新は、拡散プロセスを簡素化する訓練目的であり、重み付き変分境界と、予測ノイズと実際のノイズの間の単純な平均二乗誤差損失を使用した。このアプローチにより、安定した訓練が可能となり、CIFAR-10やCelebA-HQなどの画像生成ベンチマークで最先端の結果を達成した。
DDPMフレームワークは2つのフェーズで動作する：固定数のタイムステップにわたってデータにガウスノイズを徐々に追加する前向きプロセスと、デノイズを学習する逆プロセスである。モデルは、通常U-NetとResidual Network (ResNet)ブロックおよび注意機構を備えて実装され、各ステップでノイズを予測する。ホーの研究は、この単純な定式化が、生成敵対ネットワーク（GAN）に匹敵する忠実度の画像を生成できる一方で、より優れた訓練安定性とモードカバレッジを提供することを示した。
生成AIへの影響
DDPMは拡散ベースの研究の急速な拡大を触発した。2021年、ホーは「Diffusion Models Beat GANs on Image Synthesis」を共著し、拡散モデルが分類器ガイダンスを組み込むことでサンプル品質においてGANを上回ることを示した。この研究はOpenAIの同僚との共同作業であり、拡散モデルを高忠実度画像生成の主要なアプローチとして確立した。その後の発展、例えば潜在拡散モデルやテキスト条件付き拡散は、Stable DiffusionやDALL-E 2などのシステムの創出につながり、これらは創造的および商業的応用で広く使用されている。
ホーの貢献は動画生成にも及ぶ。2022年、彼は「Video Diffusion Models」を共著し、拡散フレームワークを適応させて一貫性のある動画シーケンスを生成した。この研究は、Google DeepMindや他の研究所で開発された後の動画生成システムに影響を与えた。拡散モデルのスケーラビリティは、Neural networkアーキテクチャとData Augmentationの進歩と組み合わさり、マルチモーダルコンテンツ作成においてLarge language modelベースのアプローチと競合する生成AIの支配的な力となっている。
研究哲学と共同研究
ホーの研究は、単純さと経験的効果を重視している。彼のDDPM論文は、明確で再現可能な方法論で知られ、研究コミュニティによる迅速な採用を促進した。彼は、Google DeepMindでJakob UszkoreitやLlion Jonesなどの著名な研究者と共同研究し、画像および動画合成に関連するプロジェクトに取り組んだ。彼のアプローチは、Adam (Optimizer)やLearning Rate Schedulingなどの確立された技術を活用しつつ、実用的な利点をもたらすアーキテクチャの革新に焦点を当てることが多い。
OpenAIでは、ホーは分類器ガイダンスを使用して生成を望ましい属性に向けるガイド付き拡散モデルの開発に貢献した。2021年に発表されたこの研究は、拡散モデルがクラスラベルやテキストプロンプトで条件付けできることを示し、テキストから画像へのシステムへの道を開いた。ノイズスケジュールや損失重み付けの役割を含む拡散モデルの訓練ダイナミクスに関する彼の洞察は、その後の分野全体の研究に影響を与えた。
評価と影響
DDPM論文は、機械学習で最も引用される作品の1つとなり、数年以内に数千の引用を獲得した。ホーの研究は、NeurIPS 2021での「Diffusion Models Beat GANs on Image Synthesis」における最優秀論文賞を含む賞で認められている。彼は主要な会議やワークショップで講演に招待され、彼の手法は生成モデリングの上級コースで教えられている。「拡散モデル」という用語自体がAIの用語集で標準となり、ホーはこのパラダイムの主要な設計者として広く認められている。
その後のキャリアと現在の活動
2024年現在、ホーはGoogle DeepMindで働き続けており、オーディオや3D生成などの新しい領域への拡散モデルのスケーリングに焦点を当てている。彼の最近の研究は、拡散モデルとReinforcement learningおよびReinforcement Learning from AI Feedback (RLAIF)（AIフィードバックからの強化学習）の交差点を探求し、サンプル品質と人間の好みとの整合性を向上させることを目指している。また、タンパク質構造予測などの科学的応用における拡散モデルの使用も調査しており、Bhabha Atomic Research CentreやSamsung Researchなどのグループと共同研究している。ホーの継続的な貢献により、拡散モデルは生成AI研究の最前線に留まり、芸術やエンターテインメントから創薬やロボティクスに至る分野に影響を与えている。
分野の急速な進化にもかかわらず、DDPMに関するホーの基礎的な研究は、多くの最先端システムの基盤を支え続けている。複雑なアイデアを実用的なアルゴリズムに蒸留する彼の能力は、Artificial intelligenceの歴史において極めて重要な人物となっており、彼の研究軌跡は、コンピュータビジョン、最適化、確率モデリングを橋渡しする現代の機械学習の学際的な性質を反映している。