나빈 라오(Naveen Rao)는 인공지능 및 머신러닝 분야, 특히 대규모 언어 모델 훈련 분야에서의 업적으로 알려진 미국의 기업가이자 엔지니어이다. 그는 MosaicML의 공동 창업자이자 CEO를 역임했으며, 이 회사는 AI 모델 훈련을 더욱 접근 가능하고 비용 효율적으로 만드는 데 주력했고, 2023년 7월 Databricks에 약 13억 달러에 인수되었다. MosaicML 이전에 라오는 Intel과 Nervana Systems에서 리더십 직책을 맡으며 딥러닝을 위한 특화 하드웨어 개발에 기여했다.
라오의 경력은 AI의 하드웨어와 소프트웨어 양 측면을 모두 아우르며, 이는 현대 신경망의 기반이 되는 계산적 과제에 대한 깊은 이해를 반영한다. 그의 작업은 모델 압축 및 효율적인 분산 훈련과 같은 기법을 통해 생성형 AI 시스템의 실질적 배포를 진전시키는 데 중요한 역할을 했다.
초기 경력 및 교육
라오는 듀크 대학교에서 전기공학 학사 학위를, 브라운 대학교에서 신경과학 박사 학위를 취득했다. 그의 학문적 배경은 공학과 생물학적 신경 시스템에 대한 연구를 결합한 것으로, 이후 머신러닝에 대한 접근 방식에 영향을 미쳤다. AI 업계에 들어서기 전, 그는 브로드컴과 퀄컴에서 칩 아키텍트로 일하며 고성능 프로세서 설계 경험을 쌓았다.
2014년, 라오는 Amir Khosrowshahi 및 Arjun Bansal과 함께 Nervana Systems를 공동 창업했다. 이 회사는 딥러닝 워크로드에 특화된 맞춤형 AI 칩인 Nervana Engine을 개발했다. Nervana는 2016년 8월 인텔에 약 4억 800만 달러에 인수되었으며, 이후 라오는 인텔의 AI 제품 그룹 총괄 매니저가 되었다.
인텔에서의 리더십
인텔에서 라오는 Nervana 신경망 프로세서(NNP) 제품군 개발을 총괄했으며, 여기에는 훈련용 NNP-T와 추론용 NNP-I가 포함되었다. 이 칩들은 AI 가속기 시장에서 엔비디아의 GPU와 경쟁하기 위해 설계되었다. 그의 지도 아래 인텔은 2018년 AI 모델 최적화 스타트업인 Vertex.AI도 인수하여 소프트웨어 스택을 강화했다.
그러나 이러한 노력에도 불구하고 인텔의 AI 하드웨어는 기존 경쟁사들에 비해 시장에서 큰 영향력을 확보하는 데 어려움을 겪었다. 라오는 2020년 인텔을 떠났고, 인텔은 이후 2021년 Nervana 제품 라인을 중단하며 다른 AI 이니셔티브에 집중했다. 인텔에서의 경험은 하드웨어 중심 접근 방식의 한계에 대한 귀중한 통찰을 제공했으며, 이는 이후 MosaicML에서의 작업에 영향을 미쳤다.
MosaicML 설립
2021년, 라오는 Hanlin Tang 및 Jonathan Frankle과 함께 MosaicML을 공동 창업했다. 이 회사는 대규모 언어 모델을 효율적으로 훈련하고 미세 조정할 수 있는 도구와 플랫폼을 제공함으로써 AI의 민주화를 목표로 했다. MosaicML의 주력 제품인 MosaicML 플랫폼은 모델 훈련 및 미세 조정을 위한 관리형 서비스를 제공했으며, 오픈소스 모델 제품군인 MPT(Mosaic Pretrained Transformer)도 함께 제공했다.
MosaicML의 주요 혁신 중 하나는 FlashAttention 및 저정밀 훈련과 같은 최적화된 훈련 기법을 트랜스포머 아키텍처에 적용한 것이다. 이 회사는 수십억 개의 파라미터를 가진 모델을 기존 방식의 일부 비용으로 훈련할 수 있음을 입증했다. 2023년 3월, MosaicML은 경쟁력 있는 성능과 오픈소스 제공으로 주목받은 70억 파라미터 모델인 MPT-7B를 출시했다.
Databricks 인수 및 이후 활동
데이터 분석 기업인 Databricks는 2023년 7월 MosaicML을 인수했다. 이 인수는 Databricks가 오픈AI, 앤트로픽, 구글 클라우드의 제품과 경쟁하는 AI 모델 훈련 기능을 자사 플랫폼에 통합하려는 전략의 일환이었다. 인수 후 라오는 Databricks의 AI 부문 부사장이 되어 생성형 AI 솔루션 개발 및 배포를 주도했다.
라오의 지도 아래 Databricks는 2024년 3월 혼합 전문가(MoE) 아키텍처를 갖춘 1,320억 파라미터 대규모 언어 모델인 DBRX를 출시했다. DBRX는 효율성과 성능을 강조한 독점 모델의 오픈소스 대안으로 포지셔닝되었다. 라오는 또한 투명성과 커뮤니티 협력이 책임 있는 AI 개발에 필수적이라고 주장하며 오픈소스 AI의 강력한 지지자로 활동해 왔다.
기여 및 인정
라오는 딥러닝 및 머신러닝에 관한 여러 논문을 저술했으며 AI 하드웨어 및 소프트웨어 관련 다수의 특허를 보유하고 있다. 그는 신경 정보 처리 시스템 학회(NeurIPS) 및 국제 머신러닝 학회(ICML)를 포함한 업계 컨퍼런스에서 자주 연사로 초청받았다. 2023년에는 기업가적 성과를 인정받아 Forbes 50 Over 50 목록에 이름을 올렸다.
그의 작업은 특히 비용 효율적인 모델 훈련 분야에서 더 넓은 AI 생태계에 영향을 미쳤다. 대규모 언어 모델 개발에 필요한 계산 자원을 줄임으로써, 라오는 소규모 조직과 연구자들이 AI 연구 및 응용에 참여할 수 있도록 지원했으며, 이는 대기업의 지배력에 도전하는 결과를 낳았다.
개인 생활 및 철학
라오는 실용적인 AI 접근 방식으로 알려져 있으며, 이론적 완성도보다 실질적 결과를 중시한다. 그는 AI 개발이 인간의 가치와 일치해야 한다고 강조하며 AI 안전 및 윤리 이니셔티브를 지지해 왔다. 인터뷰에서 그는 신경과학 배경이 영감의 원천이 되었으며, 생물학적 지능에 대한 이해가 인공 시스템 설계에 정보를 제공할 수 있다고 언급했다.
그는 샌프란시스코 베이 에어리어에 거주하며 AI 스타트업 커뮤니티에서 초기 단계 기업 멘토링과 기술 전략 자문 활동을 계속하고 있다. 칩 설계에서 AI 소프트웨어에 이르는 그의 경력 궤적은 현대 인공지능 연구 및 개발의 학제적 특성을 보여준다.