Norman Paul Jouppi는 미국의 전기 공학자이자 컴퓨터 과학자로, 현재 Google에서 부사장 겸 엔지니어링 펠로우로 재직 중이다. 그는 2013년 시작 이후 Google의 텐서 처리 장치(TPU) 프로젝트의 기술 책임자로 가장 잘 알려져 있으며, 이는 Artificial intelligence 인프라의 핵심이 되었다. 그의 경력은 컴퓨터 아키텍처에 대한 수십 년간의 기여, 특히 메모리 계층 구조와 이기종 처리에 대한 선구적 작업을 아우른다.
Jouppi의 연구 및 엔지니어링 노력은 고성능 컴퓨팅 분야에서 학계의 이해와 산업계의 실무 모두를 형성해 왔다. 그는 100건 이상의 미국 특허를 보유하고 있으며, Eckert-Mauchly Award와 IEEE Seymour Cray Computer Engineering Award를 포함한 수많은 상을 수상했다.
초기 경력 및 교육
Jouppi는 1980년 노스웨스턴 대학교에서 전기 공학 석사 학위를, 1984년 스탠포드 대학교에서 박사 학위를 취득했다. 박사 과정 동안 그는 John L. Hennessy가 이끄는 초기 RISC 이니셔티브인 MIPS 스탠포드 대학교 프로젝트의 컴퓨터 아키텍트 중 한 명이었다. 이 작업은 축소 명령어 집합 컴퓨팅의 기초 설계에 기여했으며, 이는 이후 많은 상용 프로세서에 영향을 미쳤다.
박사 학위를 마친 후, Jouppi는 1984년 Digital Equipment Corporation의 웨스턴 리서치 연구소에 합류했다. 그는 회사의 전환기를 거쳐 2002년까지 Compaq과 Hewlett-Packard에서 근무했다. HP에서 그는 2006년부터 2008년까지 팔로알토의 HP Labs에서 고급 아키텍처 연구소를, 2008년부터 2010년까지 엑사스케일 컴퓨팅 연구소를, 2010년부터 2011년까지 지능형 인프라 연구소를 이끌었다.
컴퓨터 아키텍처에 대한 기여
Jouppi는 메모리 계층 구조에서 여러 핵심 개발을 개척했다. 그는 캐시 미스 패널티를 줄이는 희생 버퍼와 데이터 요구를 예측하는 프리페칭 스트림 버퍼의 개념을 도입했다. 또한 캐시 수준 간 데이터 중복을 피하는 다중 레벨 배타적 캐싱을 발전시켰다. 이러한 혁신은 메모리 대역폭에 크게 의존하는 Neural network 훈련 및 추론 시스템의 성능을 향상시켰다
그는 캐시 시간, 면적, 전력을 모델링하는 데 널리 사용되는 도구인 CACTI 시뮬레이터를 개발했다. 이 시뮬레이터는 메모리 설계 평가를 위한 학계 및 산업계 표준이 되었다. Jouppi는 또한 단일-ISA 이기종 시스템을 포함한 이기종 아키텍처를 탐구했으며, 여기서 서로 다른 기능을 가진 코어가 동일한 명령어 집합을 공유하여 전력과 성능 간의 더 효율적인 절충을 가능하게 했다. 그의 경력 전반에 걸쳐 그는 4개의 마이크로프로세서의 수석 아키텍트를 역임했고 그래픽 가속기에 기여했다. 그의 작업은 텔레프레즌스 기술과 컴퓨팅에서의 나노포토닉스 응용 분야로도 확장되었으며, 이는 더 빠른 데이터 전송과 에너지 소비 감소를 약속하는 영역이다.
Google 및 텐서 처리 장치
2011년, Jouppi는 컴퓨터 엔지니어로 Google에 합류했다. 2013년, 그는 Machine learning 워크로드를 가속화하는 것을 목표로 한 텐서 처리 장치 프로젝트의 기술 책임자가 되었다. 첫 번째 TPU는 2015년에 배치되어 검색 결과 순위 및 Deep learning 모델 구동과 같은 작업을 위해 Google의 데이터 센터에서 사용되었다. 이후 세대의 TPU는 Google Cloud 서비스에 통합되어 외부 개발자가 대규모 모델을 훈련하고 실행할 수 있게 했다
TPU 아키텍처는 현대 Large language model 시스템의 기반이 되는 Transformer (architecture) 모델에서 흔한 행렬 연산에 최적화되어 있다. Jouppi의 리더십은 이러한 칩을 연구 프로토타입에서 수십억 사용자를 지원하는 생산 시스템으로 확장하는 데 도움을 주었다. 그의 작업은 Generative AI 애플리케이션을 대규모로 실용화하는 데 중요한 역할을 했다.
수상 및 인정
Jouppi는 고성능 프로세서 및 컴퓨터 저장 시스템의 설계와 분석에 대한 기여로 2015년 Eckert-Mauchly Award를 수상했다. 그는 2002년 Hewlett Packard 펠로우, 2003년 IEEE 펠로우, 2007년 ACM 펠로우로 지명되었다. ACM은 2013년 그에게 Alan D. Berenbaum Distinguished Service Award를 수여했다
2014년, 그는 Harry H. Goode Memorial Award를 받고 미국 공학 한림원에 선출되었다. 그는 2019년 AAAS 펠로우가 되었고 2024년 IEEE Seymour Cray Computer Engineering Award를 수상했다. 2007년부터 2011년까지 그는 컴퓨터 아키텍처에 관한 특별 관심 그룹인ACM의 SIGARCH 의장을 역임했다.
학계 및 전문 서비스
Jouppi는 1984년부터 1996년까지 스탠포드 대학교에서 컨설팅 조교수 또는 부교수로 재직했다. 그는 Communications of the ACM과 IEEE Computer Architecture Letters의 편집 위원회에 참여해 왔다. 그의 멘토링과 서비스는 한 세대의 컴퓨터 아키텍트에게 영향을 미쳤다. 그의 작업은 하드웨어와 Machine learning의 교차점을 계속 형성하고 있으며, 이는 AMD, Intel 및 다른 칩 제조업체에 영향을 미친다
그의 Cerebras 및 Groq 스타일 가속기에 대한 기여는 간접적이지만, 그의 기초 연구는 그들의 설계에 정보를 제공한다. 2024년 현재, Jouppi는 Google에서 계속 활동하고 있으며, 그의 TPU 리더십은 Artificial intelligence 하드웨어의 발전을 계속 주도하고 있다.