ノーマン・ポール・ジュッピは、アメリカの電気工学者およびコンピューター科学者であり、現在はGoogleで副社長兼エンジニアリングフェローを務めている。彼は、2013年の発足以来、Googleのテンソル処理ユニット（TPU）の技術リーダーとして最もよく知られており、TPUは人工知能インフラストラクチャの中心となっている。彼のキャリアは、コンピューターアーキテクチャへの貢献、特にメモリ階層とヘテロジニアス処理における先駆的な研究に何十年にもわたって及んでいる。
ジュッピの研究とエンジニアリングの取り組みは、高性能コンピューティングにおける学術的理解と産業実践の両方を形成してきた。彼は100件以上の米国特許を保有し、エッカート・モークリー賞やIEEEシーモア・クレイ・コンピューターエンジニアリング賞を含む数多くの賞を受賞している。
初期のキャリアと教育
ジュッピは、1980年にノースウェスタン大学で電気工学の修士号を、1984年にスタンフォード大学で博士号を取得した。博士課程在学中、彼はジョン・L・ヘネシーが率いる初期のRISCイニシアチブであるMIPSスタンフォード大学プロジェクトのコンピューターアーキテクトの一人であった。この研究は、縮小命令セットコンピューティングの基礎設計に貢献し、後に多くの商用プロセッサに影響を与えた。
博士号取得後、ジュッピは1984年にデジタル・イクイップメント・コーポレーションのウェスタンリサーチラボラトリーに入社した。彼は同社の移行期間を通じて留まり、2002年までにコンパック、その後ヒューレット・パッカードで働いた。HPでは、2006年から2008年までパロアルトのHPラボでアドバンストアーキテクチャラボを率い、その後2008年から2010年までエクサスケールコンピューティングラボ、2010年から2011年までインテリジェントインフラストラクチャラボを率いた。
コンピューターアーキテクチャへの貢献
ジュッピは、メモリ階層におけるいくつかの重要な開発を先駆的に行った。彼は、キャッシュミスペナルティを削減するビクティムバッファの概念と、データニーズを予測するプリフェッチストリームバッファを導入した。また、キャッシュレベル間のデータ重複を回避するマルチレベル排他キャッシングも進めた。これらの革新は、メモリ帯域幅に大きく依存するニューラルネットワークのトレーニングおよび推論システムのパフォーマンスを向上させた。
彼は、キャッシュの時間、面積、電力をモデル化するための広く使用されるツールであるCACTIシミュレータを開発した。このシミュレータは、メモリ設計を評価するための学術および産業環境で標準となった。ジュッピはまた、異なる能力を持つコアが同じ命令セットを共有するシングルISAヘテロジニアスシステムを含むヘテロジニアスアーキテクチャも探求し、より効率的な電力とパフォーマンスのトレードオフを可能にした。
キャリアを通じて、彼は4つのマイクロプロセッサの主任アーキテクトを務め、グラフィックスアクセラレータにも貢献した。彼の仕事は、テレプレゼンス技術やコンピューティングにおけるナノフォトニクスの応用にも及び、これらの分野はより高速なデータ伝送とエネルギー消費の削減を約束している。
Googleとテンソル処理ユニット
2011年、ジュッピはコンピューターエンジニアとしてGoogleに入社した。2013年、彼はテンソル処理ユニットプロジェクトの技術リーダーとなり、機械学習ワークロードを加速することを目指した。最初のTPUは2015年に配備され、検索結果のランキングや深層学習モデルの強化などのタスクでGoogleのデータセンターで使用された。その後の世代のTPUはGoogleクラウドサービスに統合され、外部開発者が大規模モデルをトレーニングおよび実行できるようになった。
TPUアーキテクチャは、現代の大規模言語モデルシステムの基盤となるトランスフォーマーモデルで一般的な行列演算に最適化されている。ジュッピのリーダーシップは、これらのチップを研究プロトタイプから数十億のユーザーをサポートする本番システムへとスケールさせるのに役立った。彼の仕事は、生成AIアプリケーションを大規模に実用的にする上で重要な役割を果たした。
賞と表彰
ジュッピは、高性能プロセッサとコンピューターストレージシステムの設計と分析への貢献により、2015年にエッカート・モークリー賞を受賞した。彼は2002年にヒューレット・パッカードフェロー、2003年にIEEEフェロー、2007年にACMフェローに指名された。ACMは2013年に彼にアラン・D・ベーレンバウム功労賞を授与した。
2014年には、ハリー・H・グッド記念賞を受賞し、米国工学アカデミーに選出された。彼は2019年にAAASフェローとなり、2024年にIEEEシーモア・クレイ・コンピューターエンジニアリング賞を受賞した。2007年から2011年まで、彼はコンピューターアーキテクチャに関する特別関心グループであるACMのSIGARCHの議長を務めた。
学術および専門サービス
ジュッピは、1984年から1996年までスタンフォード大学でコンサルティング助教授または准教授を務めた。彼は、Communications of the ACMとIEEE Computer Architecture Lettersの編集委員会に参加してきた。彼のメンターシップとサービスは、一世代のコンピューターアーキテクトに影響を与えた。彼の仕事は、ハードウェアと機械学習の交差点を形成し続けており、AMD、インテェル、その他のチップメーカーに影響を与えている。
彼のセレブラスやグロックスタイルのアクセラレータへの貢献は間接的であるが、彼の基礎研究はそれらの設計に情報を与えている。2024年の時点で、ジュッピはGoogleで活発であり、彼のTPUリーダーシップは人工知能ハードウェアの進歩を推進し続けている。