아미르 골라미(Amir Gholami)는 인공지능 분야의 컴퓨터 과학자이자 연구자로, 딥러닝 모델을 계산, 메모리, 에너지 소비 측면에서 더 효율적으로 만드는 데 주력하고 있다. 그의 연구는 점점 커지는 신경망 모델의 규모와 훈련 및 추론에 사용 가능한 제한된 하드웨어 자원 사이의 증가하는 격차를 해결한다. 골라미는 특히 모델 가지치기, 양자화, 분산 훈련 기법에 대한 기여로 잘 알려져 있으며, 이를 통해 대규모 AI 시스템이 일반 하드웨어와 엣지 디바이스에서 실행될 수 있게 한다.
골라미의 연구는 NeurIPS, ICML, CVPR을 포함한 최고 수준의 학회와 저널에 게재되었다. 그는 또한 활발한 오픈소스 기여자로, 학계와 산업계에서 널리 채택된 도구와 라이브러리를 공개했다. 그의 연구는 머신러닝 시스템과 응용 수학의 교차점에 위치하며, 수치 선형대수와 최적화 기법을 활용한다.
교육 및 초기 경력
골라미는 2011년 이란 테헤란의 샤리프 공과대학교에서 전기공학 학사 학위를 받았다. 이후 미국으로 건너가 2013년 텍사스 오스틴 대학교에서 전기 및 컴퓨터 공학 석사 학위를 취득했다. 그는 2017년 텍사스 오스틴 대학교에서 조지 비로스(George Biros)의 지도 아래 계산 및 응용 수학 박사 학위를 완료했다. 그의 박사 논문은 고성능 컴퓨팅 시스템에서 편미분 방정식을 풀기 위한 확장 가능한 알고리즘에 초점을 맞췄으며, 이는 이후 효율적인 머신러닝에 대한 관심의 기초가 되었다.
박사 과정 동안 골라미는 전산 유체 역학과 의료 영상 문제를 위한 병렬 수치 알고리즘을 연구했다. 이 경험은 하드웨어-소프트웨어 공동 설계와 높은 성능 달성에 있어 메모리 접근 패턴의 중요성에 대한 깊은 이해를 제공했으며, 이러한 기술은 이후 그의 AI 연구에서 결정적으로 중요하게 작용했다.
UC 버클리 박사후 연구
2017년부터 2020년까지 골라미는 캘리포니아 대학교 버클리의 버클리 AI 연구 실험실에서 박사후 연구원으로 재직하며 커트 코이처(Kurt Keutzer)와 마이클 마호니(Michael Mahoney)와 함께 일했다. 이 시기는 그가 효율적인 딥러닝으로 전환하는 데 형성적인 역할을 했다. 버클리에서 그는 Deep Compression 프레임워크 개발에 참여했고, 합성곱 신경망이 훨씬 적은 매개변수로 높은 정확도를 달성할 수 있음을 보여준 SqueezeNet 아키텍처 설계에 기여했다.
골라미의 박사후 연구는 또한 양자화의 이론적 기초를 탐구했다. 그는 다양한 양자화 방식이 모델 정확도에 미치는 영향에 대한 영향력 있는 논문을 발표했으며, 여기에는 훈련 후 양자화 기법에 대한 체계적인 연구가 포함된다. 이 연구는 전체 정밀도 모델을 성능 손실 없이 낮은 비트 표현으로 변환하는 모범 사례를 확립하는 데 도움을 주었다.
효율적인 딥러닝에 대한 기여
골라미의 가장 중요한 기여는 모델 압축 및 가속화 분야에 있다. 그는 심층 신경망의 메모리 사용량과 계산 비용을 줄이는 방법을 개발하여 모바일 폰, 임베디드 시스템 및 기타 자원 제약 플랫폼에서 배포할 수 있게 했다.
그의 주목할 만한 작업 중 하나는 혼합 정밀도 양자화 프레임워크 개발로, 신경망의 각 계층에 대한 최적의 비트 폭을 자동으로 결정한다. 제약 최적화 문제를 푸는 데 기반한 이 접근 방식은 균일 양자화에 비해 최대 4배 압축을 달성하면서도 정확도 저하를 최소화한다. 이 방법은 엣지 AI를 위한 여러 상용 도구 체인에서 채택되었다.
골라미는 또한 모델 크기와 훈련 역학 간의 관계 이해에 기여했다. 대규모 배치 훈련을 위한 학습률의 "올바른 스케일링"에 대한 그의 연구는 널리 인용되었으며, GPU 클러스터에서 분산 훈련에 대한 실용적인 지침을 제공한다. 그는 학습률이 특정 지점까지는 배치 크기에 선형적으로 스케일링되어야 하며, 그 이후에는 더 정교한 스케줄이 필요함을 보여주었다.
대규모 언어 모델 연구
대규모 언어 모델과 트랜스포머 아키텍처의 부상과 함께 골라미는 이러한 모델이 제기하는 독특한 과제에 주목했다. 그는 트랜스포머의 가중치와 활성화를 양자화하는 기법을 연구했으며, 이는 활성화의 이상치 값 존재로 인해 수치 정밀도에 특히 민감하다. 그의 이상치 인식 양자화에 대한 연구는 GPT 및 BERT와 같은 모델을 소비자 하드웨어에 배포하는 데 중요한 역할을 했다.
골라미는 또한 시퀀스 길이에 따라 이차적으로 확장되는 어텐션 메커니즘의 메모리 오버헤드를 줄이는 방법을 탐구했다. 그는 정확도를 유지하면서 계산 복잡성을 줄이는 희소 어텐션 패턴과 저랭크 근사 개발에 기여했다. 이러한 기법은 긴 문서, 유전체 서열 및 확장된 컨텍스트를 가진 기타 데이터를 처리하는 데 관련이 있다.
또한 골라미는 대규모 언어 모델의 효율적인 훈련 및 추론에 대한 포괄적인 조사 논문을 작성하여 가지치기, 증류 및 하드웨어 인식 설계와 같은 분야의 최신 기술을 종합했다. 이러한 조사 논문은 이 분야에 입문하는 연구자들에게 필수 읽을거리가 되었다.
학계 임용 및 산업계 역할
2020년 골라미는 캘리포니아 대학교 버클리의 전기 공학 및 컴퓨터 과학 학과 조교수로 합류했다. 그는 효율적 및 확장 가능한 AI 실험실을 이끌며 저비트 양자화부터 연합 학습에 이르는 주제를 연구하는 대학원생들을 지도한다. 그는 2022년 NSF CAREER 상을 포함하여 교육 및 연구에 대한 여러 상을 받았다.
골라미는 또한 산업계와 긴밀한 관계를 유지했다. 그는 구글 딥마인드와 삼성 리서치에서 방문 연구원으로 재직하며 온디바이스 AI 관련 프로젝트에 협력했다. 그는 엣지 추론에 초점을 맞춘 여러 스타트업의 컨설턴트로 활동했으며, Deep Compression Toolkit과 같은 그의 오픈소스 라이브러리는 인텔과 퀄컴을 포함한 기업들이 신경망 가속기를 최적화하는 데 사용한다.
주요 논문 및 영향
골라미는 80편 이상의 동료 검토 논문을 저술했으며, 2024년 기준 20,000회 이상의 인용을 누적했다. 그의 가장 영향력 있는 작업 중 일부는 다음과 같다:
- "효율적인 신경망 추론을 위한 양자화 방법 조사" (2021) - 양자화 기법의 포괄적인 분류 체계를 제공하며 1,500회 이상 인용되었다.
- "제한된 범위 매개변수화를 통한 CNN의 혼합 정밀도 양자화" (2021) - 비트 폭과 정확도 간의 균형을 개선하는 새로운 매개변수화를 도입했다.
- "이상치 억제: 저비트 트랜스포머 언어 모델의 한계 돌파" (2022) - 트랜스포머의 활성화 이상치 문제를 해결하는 논문이다.
그의 연구는 국제 학습 표현 학회(ICLR)와 컴퓨터 비전 및 패턴 인식 학회(CVPR)에서 최우수 논문상을 수상했다. 그는 또한 AI 하드웨어 서밋 및 효율적인 딥러닝 워크숍을 포함한 주요 산업 학회에서 기조 연설을 초청받았다.
교육 및 멘토링
버클리에서 골라미는 효율적인 머신러닝과 병렬 컴퓨팅에 관한 대학원 과정을 가르친다. 그는 학생들이 알고리즘을 처음부터 구현하고 실제 하드웨어에서 벤치마킹하도록 장려하는 실습 중심 접근 방식으로 알려져 있다. 그의 박사 과정 학생 중 여러 명이 오픈AI와 앤트로픽과 같은 선도적인 AI 연구소의 연구직으로 진출했다.
골라미는 또한 재현 가능한 연구의 옹호자이다. 그는 대부분의 논문에 대한 코드와 데이터를 공개했으며, 복잡한 주제를 접근 가능한 언어로 설명하는 블로그를 운영한다. 그는 NeurIPS와 ICML에서 효율적인 딥러닝에 관한 여러 워크숍을 조직하여 지속 가능한 AI에 전념하는 연구자 커뮤니티를 조성했다.
현재 연구 방향
2025년 현재 골라미의 연구는 세 가지 주요 영역에 초점을 맞추고 있다: (1) 대규모 언어 모델을 위한 양자화 인식 훈련 방법 개발, (2) 엣지 AI를 위한 에너지 효율적인 하드웨어-소프트웨어 공동 최적화 전략 설계, (3) 신경 연산자로 편미분 방정식을 푸는 것과 같은 과학 컴퓨팅에 효율적인 딥러닝 적용.
그는 또한 AI 훈련의 탄소 발자국을 줄이는 프로젝트에 참여하고 있다. 적응형 정밀도와 조기 종료 메커니즘에 대한 그의 연구는 모델 품질을 희생하지 않으면서 에너지 소비를 최대 30%까지 줄일 수 있는 잠재력을 보여주었다. 골라미는 AMD와 ARM 홀딩스와 같은 하드웨어 공급업체와 협력하여 그의 알고리즘이 차세대 프로세서의 기능과 일치하도록 보장한다.
인정 및 수상
골라미는 경력 전반에 걸쳐 많은 영예를 받았다. NSF CAREER 상 외에도 2023년 슬론 연구 펠로우(Sloan Research Fellow)로 선정되었다. 그는 머신러닝 분야의 "AI 2000 가장 영향력 있는 학자" 목록에 3년 연속 포함되었다. 오픈소스 소프트웨어에 대한 그의 기여는 2021년 구글 오픈소스 동료 보너스 상으로 인정받았다.
그는 주요 학회의 프로그램 위원회에서 활동하며 IEEE 패턴 분석 및 머신 인텔리전스 거래의 부편집장을 맡고 있다. 그의 연구는 IEEE Spectrum과 MIT Technology Review의 기사에서 다루어졌으며, 그의 방법이 실제 AI 배포에 미치는 실용적 영향을 강조했다.
개인 생활 및 관심사
연구 외에도 골라미는 열렬한 하이커이자 사진가이다. 그는 학술 회의로 여행하는 동안 이러한 관심사를 결합하여 풍경과 도시 장면을 촬영한다. 그는 또한 1세대 대학생을 위한 멘토로 활동하며 STEM 분야에서 소외된 집단이 경력을 추구하도록 장려하는 봉사 프로그램에 참여한다.
골라미는 소셜 미디어에서 활발한 활동을 유지하며 최근 논문에 대한 통찰력을 공유하고 야심 찬 연구자에게 경력 조언을 제공한다. 그는 협력적인 정신과 주니어 연구자와의 교류 의지로 알려져 있으며, 종종 다른 대학의 학생들과 논문을 공동 저술한다.
유산 및 미래 전망
효율적인 딥러닝 분야는 빠르게 성장했으며, 골라미는 이 분야의 선도적인 인물 중 하나로 간주된다. 그의 연구는 학문적 지식을 발전시켰을 뿐만 아니라 자율 주행, 의료 영상, 실시간 언어 번역과 같은 분야에서 실용적인 응용을 가능하게 했다. AI 모델이 계속 커짐에 따라 효율성 연구의 중요성은 더욱 커질 가능성이 높으며, 골라미의 기여는 앞으로도 수년간 관련성을 유지할 것이다.
그는 현재 효율적인 딥러닝과 생성형 AI의 교차점을 탐구하며 확산 모델 및 기타 생성 아키텍처를 모바일 디바이스에서 더 접근 가능하게 만드는 것을 목표로 한다. 그의 장기 비전은 강력할 뿐만 아니라 지속 가능하고 포용적인 AI 시스템을 만들어 전 세계에서 이미 사용 중인 수십억 개의 디바이스에서 실행될 수 있게 하는 것이다.