ジャレッド・カプランは、理論物理学者であり機械学習研究者である。言語モデルに関する経験的なスケーリング則を確立した研究を主導したことや、アンソロピックの共同創業者兼チーフサイエンティストとして知られている。
背景とスケーリング則
カプランは、AI研究に転身する前にジョンズ・ホプキンス大学で理論物理学の教員を務めており、この経歴が、モデルの振る舞いを直感だけで設計するのではなく、測定可能な経験的・定量的システムとして扱うという彼のアプローチを形作ったと述べている。2020年、オープンAIに所属していた際、彼は「スケーリング則によるニューラル言語モデル」という論文を主導し、言語モデリングタスクにおける損失が、モデルサイズ、データセットサイズ、トレーニング計算量と滑らかな冪乗則の関係に従うことを示した。この論文は、固定された計算予算の配分方法を決定するための予測フレームワークを各研究所に提供し、GPT-3のトレーニングに直接影響を与えた。2022年にDeepMindから発表され広く引用された「チンチラ」論文は、パラメータとトレーニングトークンの最適比に関するカプランの当初の結論を修正したが、彼が確立に貢献した冪乗則の枠組み自体は、フロンティア研究所が大規模なトレーニング実行を計画する際の基盤であり続けた。
アンソロピック
2021年、カプランはダリオ・アモデイ、ダニエラ・アモデイ、トム・ブラウン、クリス・オラーら、OpenAIで共に働いたメンバーとともにアンソロピックを共同創業した。アンソロピックのチーフサイエンティストとして、彼は事前学習、アライメント、スケールに伴うモデル能力の経験的研究にわたる研究の方向性を監督し、OpenAIで始めたスケーリング重視の研究プログラムを継続している。アンソロピックの公開された安全性の枠組み、例えば責任あるスケーリングポリシー（アンソロピックの原則を参照）は、能力の成長がスケーリングトレンドから十分に予測可能であり、計画やゲートが可能であるという前提に一部基づいており、この考えはカプランの初期の研究に直接由来している。
影響
カプランのスケーリング則の研究は、GPT-3論文と並んで、広い分野に対して、根本的に新しいアーキテクチャを探すのではなく、トランスフォーマーモデルを予測可能な形でスケールし続けることが、さらなる能力向上への最も信頼できる道であると確信させた2つの発展の一つとして頻繁に引用されており、この結論は2020年代半ばまでのフロンティアラボの戦略を形作った。
彼の理論物理学の経歴は、AI研究所の創業者の中でも際立った特徴としてアンソロピックのリーダーシップに関するプロフィールで頻繁に言及されており、彼は物理システムを研究するために使われる経験的手法と、フロンティア研究所が現在、大規模な訓練済みモデルの展開前後の振る舞いを研究する方法との間に、明示的な類推を引き続き描いている。