산제이 라조파디에는 콜로라도 주립대학교의 컴퓨터 과학 교수로, 폴리헤드럴 컴파일레이션과 이를 머신러닝 시스템에 적용하는 연구를 이끌고 있다. 그의 연구는 현대 병렬 및 가속기 하드웨어에서 코드를 최적화하는 데 중요한 루프 변환의 수학적 기초에 초점을 맞춘다. 라조파디에는 1980년대부터 이 분야에서 활동하며 시스톨릭 어레이 설계의 이론과 실무에 기여했고, 이후 딥러닝 프레임워크에 사용되는 컴파일레이션 기법에도 기여했다.
라조파디에의 연구는 이론 컴퓨터 과학과 실용적인 시스템 엔지니어링을 연결한다. 그는 프로그램의 중첩 루프를 표현하고 변환하는 프레임워크인 폴리헤드럴 모델에 대한 기여로 가장 잘 알려져 있다. 이 모델은 고성능 컴퓨팅을 위한 많은 현대 컴파일러의 기반이 되며, Machine learning 가속기에 사용되는 컴파일러도 포함된다. 콜로라도 주립대학교의 그의 연구 그룹은 멀티코어 CPU, GPU, 그리고 AMD 및 Intel 프로세서와 같은 특수 하드웨어를 위해 생성된 코드의 효율성을 개선하는 도구와 알고리즘을 개발했다.
초기 경력 및 교육
라조파디에는 1986년 유타 대학교에서 컴퓨터 과학 박사 학위를 받았으며, 리처드 M. 후지모토의 지도 아래 연구를 수행했다. 그의 박사 논문은 1980년대에 두드러졌던 병렬 컴퓨팅 아키텍처의 한 종류인 시스톨릭 어레이에 초점을 맞췄다. 박사 학위를 마친 후, 그는 오리건 대학교와 프랑스 국립 컴퓨터 과학 및 제어 연구소(INRIA)에서 직책을 맡았으며, 정규 배열 알고리즘을 명시하고 합성하기 위해 설계된 함수형 언어인 Alpha 언어에 대해 연구자들과 협력했다.
1995년, 라조파디에는 콜로라도 주립대학교 교수진에 합류했다. 이후 수십 년 동안 그는 폴리헤드럴 모델 연구로 유명해진 연구 그룹을 구축했다. 그는 이후 PLUTO 폴리헤드럴 컴파일러를 공동 개발한 우다이 본두굴라를 포함한 많은 박사 과정 학생들을 지도했으며, 다른 학생들은 학계와 산업계에서 경력을 쌓았다.
폴리헤드럴 컴파일레이션 연구
라조파디에의 핵심 기여는 루프 중첩의 수학적 표현을 사용하여 체계적인 최적화를 가능하게 하는 폴리헤드럴 컴파일레이션 분야에 있다. 본두굴라 등과 공동 저술한 그의 2008년 논문은 폴리헤드럴 모델을 사용하여 루프를 자동으로 병렬화하고 타일링하는 PLUTO 컴파일러를 소개했다. 이 연구는 ACM SIGPLAN 프로그래밍 언어 설계 및 구현 컨퍼런스(PLDI) 회보에 게재되었으며 컴파일러 커뮤니티에서 널리 인용되었다.
그의 연구는 또한 현대 계층적 메모리 시스템에서 성능에 필수적인 메모리 레이아웃 최적화와 데이터 지역성 문제를 다루었다. 2013년에는 과학 컴퓨팅과 Deep learning 워크로드에서 흔한 패턴인 스텐실 계산을 위한 효율적인 타일링 기법 도출에 관한 연구를 발표했다. 이러한 기법은 Google DeepMind 및 기타 AI 연구 기관에서 사용되는 것을 포함한 여러 오픈소스 및 상용 컴파일러에 채택되었다.
머신러닝 시스템에의 응용
2010년대에 라조파디에는 폴리헤드럴 컴파일레이션과 Artificial intelligence 시스템의 교차점에 주목했다. 그는 Neural network 훈련 및 추론의 계산 커널(예: 행렬 곱셈과 합성곱)이 과학 컴퓨팅에 사용되는 것과 동일한 루프 변환 기법의 혜택을 받을 수 있음을 인식했다. 그의 그룹은 TensorFlow 및 PyTorch와 같은 프레임워크에서 텐서 연산을 최적화하는 방법을 개발했으며, 메모리 트래픽 감소와 병렬성 향상에 초점을 맞췄다.
주목할 만한 프로젝트 중 하나는 서버급 하드웨어에서 지연 시간을 줄이는 Large language model 추론을 위한 폴리헤드럴 기반 최적화 프로그램 개발이었다. 이 작업은 라조파디에가 방문 과학자로 재직했던 Nokia Bell Labs 및 Samsung Research의 연구자들과의 협력을 포함했다. 그의 통찰력은 AWS Trainium 및 기타 특수 AI 칩용 컴파일레이션 스택 설계에 영향을 주었지만, 그는 해당 회사에 직접 고용되지는 않았다.
교육 및 멘토링
콜로라도 주립대학교에서 라조파디에는 컴파일러, 병렬 컴퓨팅, 계산 이론에 관한 강의를 해왔다. 그는 수학적 기초를 강조하는 엄격한 교육 방식으로 알려져 있다. 그는 2017년 자연과학대학 우수 교육상을 포함하여 대학에서 여러 교육 상을 받았다. 또한 University of Toronto 및 BAIR (Berkeley AI Research)와 같은 기관의 박사후 연구원과 방문 학자들을 멘토링했다.
그의 학생들은 저명한 직책으로 진출했다. 예를 들어, 본두굴라는 인도 과학 연구소의 교수가 되어 폴리헤드럴 컴파일레이션 연구를 계속하고 있다. 또 다른 전 학생인 알베르 코엔은 라조파디에와 Alpha 언어에 대해 협력했으며, 이후 Google Cloud의 연구 과학자가 되어 AI 워크로드용 컴파일러 인프라를 연구하고 있다.
주요 논문 및 인정
라조파디에는 100편 이상의 동료 심사 논문을 저술했으며, 많은 논문이 PLDI, 프로그래밍 언어 및 운영 체제를 위한 아키텍처 지원 국제 컨퍼런스(ASPLOS), ACM 프로그래밍 언어 및 시스템 거래지와 같은 최고의 학술지에 게재되었다. PLUTO에 관한 그의 2008년 PLDI 논문은 1,000회 이상 인용되어 폴리헤드럴 컴파일레이션에서 가장 영향력 있는 연구 중 하나가 되었다.
2015년, 그는 컴파일러 최적화에 대한 기여를 인정받아 컴퓨팅 기계 협회(ACM)의 선임 회원으로 선출되었다. 그는 컴파일러 구축 국제 컨퍼런스와 IEEE 국제 병렬 및 분산 처리 심포지엄을 포함한 여러 컨퍼런스의 프로그램 위원회에서 활동했다. 또한 고성능 컴퓨팅 및 머신러닝 시스템 워크숍에서 기조 연설자로 활동했다.
현재 연구 및 향후 방향
2024년 현재, 라조파디에는 콜로라도 주립대학교에서 CPU, GPU, AI 가속기를 결합한 이기종 시스템용 컴파일링의 과제에 초점을 맞춘 연구를 계속 이끌고 있다. 그의 최근 프로젝트에는 Transformer (architecture) 모델 훈련의 효율성을 개선할 수 있는 폴리헤드럴 모델에서의 자동 미분 기법 개발이 포함된다. 그는 또한 대규모 모델의 메모리 요구 사항이 상당한 컴파일레이션 과제를 제기하는 Generative AI 워크로드에 폴리헤드럴 방법을 적용하는 방법을 탐구하고 있다.
라조파디에는 Oracle Cloud Infrastructure 및 Coreweave를 포함한 산업 연구소와의 협력을 계속하고 있으며, 그의 그룹은 클라우드 기반 AI 인프라에서 새로운 컴파일레이션 전략을 테스트했다. 그의 연구는 이론 컴퓨터 과학과 현대 머신러닝 시스템의 실용적 요구 사이의 격차를 계속해서 좁히고 있다.