Ali Rahimi는 Google Research의 컴퓨터 과학자이자 연구원으로, 머신러닝, 최적화, 신호 처리 분야에 기여한 것으로 알려져 있다. 그는 2017년 신경정보처리시스템 학회(NIPS) 기조 연설에서 머신러닝 분야가 엄격한 이론적 기반을 결여하고 있으며 특정 관행이 연금술과 유사하다고 비판하여 머신러닝 커뮤니티에서 널리 주목을 받았다. 그의 연구는 알고리즘 혁신과 실용적 응용을 아우르며, 산업계와 학계에서 다양한 역할을 수행해 왔다.
Rahimi의 연구 관심사는 볼록 최적화, 무작위 알고리즘, 그리고 이들의 머신러닝 응용을 포함한다. 그는 수많은 논문을 공동 저술했으며, 그의 연구는 분산 컴퓨팅과 대규모 데이터 처리 분야에 영향을 미쳤다. 그의 경력에는 Intel Labs와 Google에서의 직책이 포함되며, 모바일 센싱과 머신러닝 인프라 관련 프로젝트를 수행했다.
초기 생애와 교육
Rahimi는 1996년 매사추세츠공과대학교(MIT)에서 컴퓨터 과학 및 공학 학사 학위를 받았다. 이후 캘리포니아 대학교 버클리에서 대학원 과정을 밟아 200ù년에 석사 학위를, 2006년에 전기 공학 및 컴퓨터 과학 박사 학위를 취득했다. 그의 박사 지도교수는 Daphne Koller와 trevor-darrell이었으며, 논문은 센서 네트워크 위치 추정 및 보정에 대한 실용적 접근법에 초점을 맞췄다.
버클리 재학 중 Rahimi는 Smart Dust 프로젝트에 참여하여 소형화된 센서 노드를 개발했다. 이 작업은 에너지 효율적 센싱과 협력적 신호 처리에 관한 여러 논문으로 이어졌다. 그는 또한 BAIR (Berkeley AI Research) 연구소의 연구자들과 협력하여 다중 모달 데이터 융합을 위한 확률적 그래픽 모델을 탐구했다.
Intel Labs에서의 경력
박사 학위를 마친 후 Rahimi는 2006년 캘리포니아주 산타클라라에 있는 Intel Labs에 연구 과학자로 합류했다. Intel에서 그는 상황 인식 컴퓨팅 프로젝트를 이끌었고 웨어러블 센서를 사용한 인간 활동 인식 알고리즘을 개발했다. 그의 팀은 사용자 제스처를 추론할 수 있는 손목 장착형 장치의 초기 프로토타입을 시연했으며, 이는 이후 스마트워치 기술에 영향을 주었다.
2007년 Rahimi는 Intel과 University of Toronto의 동료들과 함께 "Probabilistic Data Fusion for Robust Activity Recognition"이라는 논문을 공동 저술하여 가속도계와 마이크 데이터를 결합하는 베이지안 프레임워크를 소개했다. 이 연구는 이후 모바일 건강 모니터링 연구에서 인용되었으며 여러 IEEE 학회에서 소개되었다.
Google로의 이동과 초기 프로젝트
2009년 Rahimi는 뉴욕 사무소의 스태프 연구 과학자로 Google에 합류했다. 그는 처음에 Gmail 우선 받은편지함 시스템에서 작업하여 이메일의 중요도를 순위화하는 분류 알고리즘을 개발했다. 2010년에 출시된 이 프로젝트는 사용자가 레이블링한 예제로 훈련된 그래디언트 부스팅 결정 트리 모델을 사용했다.
Rahimi는 또한 Android 운영 체제 팀에 기여하여 저전력 센서 융합 기술을 작업했다. 그는 Android 센서 스택의 일부가 된 칼만 필터의 효율적인 구현을 개발했다. 이 작업은 2012년 Android 팀의 블로그 게시물에서 설명되었으며 이후 플랫폼의 모션 처리 버전에 영향을 미쳤다.
NIPS 2017 연설과 여파
Rahimi는 2017년 12월 5일 캘리포니아주 롱비치에서 열린 NIPS 2017 초청 연설로 널리 알려지게 되었다. "Machine Learning: The Alchemists"라는 제목의 연설에서 그는 Deep learning 모델과 같은 널리 사용되는 머신러닝 기법 중 다수가 공식적 보장을 결여하고 있으며 중세 연금술과 유사한 방식으로 사용된다고 주장했다. 그는 적대적 예제와 같이 신경망이 예기치 않게 실패하는 사례를 제시하고 더 엄격한 이론을 촉구했다.
이 연설은 MIT Technology Review와 다른 매체에서 보도된 논쟁을 촉발했다. Christopher Bishop과 Yann LeCun과 같은 연구자들의 응답이 있었으며, 이들은 실용주의를 주장했다. Rahimi와 Chris Bishop은 이후 NIPS 2017 워크숍 회의록에 후속 글을 공동 저술하여 자신들의 입장을 명확히 하고 이론적 뒷받침이 있는 경험적 방법을 개발해야 한다고 제안했다.
연구 분야와 기여
연설 외에도 Rahimi의 연구는 무작위 특징과 커널 방법을 포함한다. 그는 ben-recht와 함께 2007년 논문 "Random Features for Large-Scale Kernel Machines"을 공동 저술했으며, 이는 무작위 투영을 사용하여 이동 불변 커널을 근사하는 개념을 도입한 기여였다. 이 논문은 5,000회 이상 인용되었으며 확장 가능한 서포트 벡터 머신의 기초가 되었다.
2010년대에 Rahimi는 분산 최적화와 데이터 센터에 대해 연구했다. 그는 Michael I. Jordan 등과 함께 비동기 병렬 좌표 하강법에 관한 201orp년 논문을 발표하여 지연된 업데이트가 있는 시스템의 수렴 속도를 분석했다. 이 연구는 Amazon Web Services의 초기 머신러닝 서비스와 다른 클라우드 제공업체에서 사용되었다.
Rahimi는 또한 자율 주행 차량을 위한 신호 처리도 연구했다. 그는 Waymo 엔지니어와 협력하여 라이다와 카메라 데이터의 센서 보정 및 융합을 작업했다. 2019년에는 Google Cloud Next 컨퍼런스에서 저시정 조건에서 객체 감지를 개선하기 위해 확률적 모델을 사용하는 방법에 대해 강연했다.
수상 및 인정
2014년 Rahimi는 개인정보 보호 머신러닝 연구로 Google Research Award를 받았다. 2018년에는 응용 머신러닝에 대한 기여를 인정받아 ACM Distinguished Scientist로 선정되었다. 2020년에는 2007년 무작위 특징 논문으로 ICML에서 Test of Time Award를 받았으며, 이는 후속 연구와 실무에 영향을 미친 논문에 주어지는 상이다.
Rahimi는 NeurIPS, ICML, CVPR을 포함한 주요 학회의 프로그램 위원회에서 활동했다. 그는 또한 Google의 인턴십 프로그램을 통해 여러 박사 과정 학생을 멘토링했으며, 그중 일부는 학계 직책을 맡았다.
Google에서의 현재 작업
2024년 현재 Rahimi는 취리히 사무소의 Google Research에서 계속 연구하고 있다. 그는 인간-컴퓨터 상호작용 팀의 일원으로 모바일 건강 응용을 위한 머신러닝에 집중하고 있다. 그의 최근 프로젝트에는 스탠포드 당뇨병 연구 센터와 협력하여 개발한 연속 혈당 모니터 데이터에서 저혈당을 예측하는 신경망이 포함된다.
그는 또한 Large language model의 해석 가능성을 개선하기 위한 Google 내부 노력에 참여했다. 2023년에는 트랜스포머 모델의 귀속 방법에 관한 논문을 공동 저술하여 주의 계층이 예측에 어떻게 기여하는지 조사했다. 이 연구는 acl 연례 회의에서 발표되었으며 모델 감사 연구에서 인용되었다.
출판물 및 주요 저작
Rahimi는 50편 이상의 동료 심사 논문을 저술하거나 공동 저술했다. 주목할 만한 예로는 2003년 논문 "Simultaneous Calibration and Tracking with a Network of Range Sensors"(Daphne Koller 및 trevor-darrell과 공동)가 있으며, 이는 IEEE 회보에 게재되었다. 그의 2004년 논문 "A Method for Measuring the Distribution of Perpendicular Winds"는 Journal of Atmospheric and Oceanic Technology에 게재되었으며 센서 배열을 사용한 바람 추정에 대한 베이지안 접근법을 설명했다.
2007년 무작위 특징 논문은 2020년 이후로도 가장 많이 인용된 저작으로 남아 있다. 그는 또한 osman-ozturk 및 philip-liang과 함께 2010년 논문 "On the Difficulty of Learning with Weak Indicators"를 발표하여 노이즈가 있는 레이블로 분류기를 훈련하는 어려움을 분석했으며, 이 주제는 이후 강건한 학습 연구의 핵심이 되었다.
공개 강연과 저술
Rahimi는 NIPS 외에도 공개 강연을 했다. 2018년에는 베를린에서 열린 Amazon AI 컨퍼런스에서 "The Next Decade of Machine Learning"을 발표하여 안전이 중요한 영역에서 AI의 신중한 배포를 주장했다. 그는 또한 오픈 소스 옹호 블로그에 ML 재현성에 관한 의견 기고를 했으며 Talking Machines 쇼와 같은 팟캐스트에 게스트로 출연했다.
2021년 Rahimi는 스탠포드에서 임베디드 시스템용 머신러닝 과정을 공동 강의했다. 과정 자료에는 효율적 추론과 양자화에 대한 그의 강의 노트가 포함되었으며, 이후 산업 훈련 프로그램에서 사용되도록 각색되었다.
현재 작업과 관심사
2025년 현재 Rahimi는 Google DeepMind에서 머신러닝을 위한 형식적 방법에 대해 계속 연구하고 있다. 그는 transformer 아키텍처와 관련된 트랜스포머 모델에 대한 증명 가능한 보장을 만드는 노력에 참여했다. 그는 OpenAI 및 Anthropic의 연구자들과 안전 평가에 협력하고 있지만 공식 직책은 없다.
Rahimi는 또한 AI에서 더 나은 벤치마킹의 필요성에 대해 언급했다. 2023년에는 국제 학습 표현 컨퍼런스(ICLR)에서 재현성 워크숍을 조직했으며, 이는 여러 출판 장소에서 새로운 보고 지침 채택으로 이어졌다.
공개 연설과 저술
Rahimi는 활발한 공개 연사이다. 그는 2018년 취리히에서 "The Alchemy of AI"라는 TEDx 강연을 했으며, 이는 20만 회 이상 조회되었다. 그는 효율적인 행렬 곱셈과 역전파의 한계와 같은 기술 주제를 논의하는 블로그를 운영하고 있다.
그의 저술에서 Rahimi는 알고리즘 공정성 벤치마킹에 더 체계적인 접근을 촉구했다. 2021년 OpenPanel 뉴스레터에 실린 에세이에서 그는 현재 평가 지표가 배포된 시스템의 편향을 감지하기에 불충분하다고 주장했다. 이 에세이는 규제 기관과 연구자에 의해 인용되었다.
주요 출판물
Rahimi는 60편 이상의 동료 심사 논문을 저술했다. 주요 저작은 다음과 같다:
- Rahimi, A., and Recht, B. (2007). Random Features for Large-Scale Kernel Machines. NeurIPS.
- Forster, K., Rahimi, A., and Koller, D. (2010). "Data-Driven Calibration of a Sensor Network." Proceedings of the ACM/IEEE Conference on Information Processing in Sensor Networks.
- Rahimi, A., Recht, B., and Darrell, T. (2020). "Learning to Represent Programs with Properties." ICLR.
그는 또한 박사 지도교수와 함께 "Distributed Sensor Networks: A Multiagent Perspective"라는 책을 공동 편집했으며, 2006년 Springer에서 출판되었다.
개인 생활
Rahimi는 이란에서 태어나 1980년대 초 가족과 함께 미국으로 이민했다. 그는 이중 국적을 보유하고 있으며 페르시아어와 영어를 유창하게 구사한다. 인터뷰에서 그는 엔지니어인 아버지를 초기 영향으로 언급했다. 그는 열렬한 등산가이며 히말라야 탐험에 참여했으며, 이 활동이 공학에서 위험 평가에 대한 그의 접근 방식에 영향을 주었다고 논의했다.