Naveen Raoは、人工知能と機械学習、特に大規模言語モデルのトレーニング分野での業績で知られるアメリカの起業家兼エンジニアである。彼は、AIモデルのトレーニングをよりアクセスしやすく費用対効果の高いものにすることに焦点を当てたスタートアップMosaicMLを共同設立し、CEOを務めた。同社は2023年7月にDatabricksによって約13億ドルで買収された。MosaicML以前には、RaoはIntelとNervana Systemsでリーダーシップの役割を担い、深層学習向けの専用ハードウェアの開発に貢献した。
RaoのキャリアはAIのハードウェアとソフトウェアの両方の側面に及び、現代のニューラルネットワークの根底にある計算上の課題に対する深い理解を反映している。彼の業績は、特にモデル圧縮や効率的な分散トレーニングといった技術を通じて、生成AIシステムの実用的な展開を推進する上で重要な役割を果たしてきた。
初期のキャリアと教育
Raoはデューク大学で電気工学の理学士号を取得し、その後ブラウン大学で神経科学の博士号を修了した。彼の学術的背景は工学と生物学的神経系への焦点を組み合わせたものであり、後の機械学習へのアプローチに影響を与えた。AI業界に入る前は、ブロードコムとクアルコムでチップアーキテクトとして働き、高性能プロセッサの設計経験を積んだ。
2014年、RaoはAmir KhosrowshahiとArjun Bansalと共にNervana Systemsを共同設立した。同社は、深層学習ワークロード専用に設計されたカスタムAIチップ「Nervana Engine」を開発した。Nervanaは2016年8月にインテルによって報告上4億800万ドルで買収され、その後RaoはIntelのAI製品グループのゼネラルマネージャーとなった。
Intelでのリーダーシップ
Intelでは、RaoはNervana Neural Network Processor（NNP）ファミリーの開発を監督し、トレーニング用のNNP-Tと推論用のNNP-Iを含むこれらのチップを担当した。これらのチップは、AIアクセラレータ市場でエヌビディアのGPUと競合することを意図していた。彼のリーダーシップの下、Intelは2018年にAIモデル最適化に特化したスタートアップVertex.AIも買収し、ソフトウェアスタックを強化した。
これらの努力にもかかわらず、IntelのAIハードウェアは確立された競合他社に対して大きな市場シェアを獲得するのに苦戦した。Raoは2020年にIntelを離れ、Intelは2021年にNervana製品ラインを廃止し、他のAIイニシアチブに焦点を移した。彼のIntelでの時間は、ハードウェア中心のアプローチの限界について貴重な洞察を提供し、その後のMosaicMLでの業績に影響を与えた。
MosaicMLの設立
2021年、RaoはHanlin TangとJonathan Frankleと共にMosaicMLを共同設立した。同社は、大規模言語モデルを効率的にトレーニングするためのツールとプラットフォームを提供することで、AIを民主化することを目指した。MosaicMLの主力製品であるMosaicML Platformは、モデルのトレーニングとファインチューニングのためのマネージドサービスを提供し、オープンソースモデルのMPT（Mosaic Pretrained Transformer）ファミリーも含んでいた。
MosaicMLの主要な革新の一つは、FlashAttentionや低精度トレーニングなどの最適化されたトレーニング技術を用いたトランスフォーマーアーキテクチャの使用であった。同社は、通常このような取り組みに伴うコストの一部で数十億パラメータのモデルをトレーニングできることを実証した。2023年3月、MosaicMLは70億パラメータのモデルであるMPT-7Bをリリースし、競争力のある性能とオープンソースでの利用可能性で注目を集めた。
Databricksによる買収とその後の活動
データ分析企業であるDatabricksは、2023年7月にMosaicMLを買収した。この買収は、DatabricksがオープンAI、アンソロピック、グーグルクラウドの提供と競合するAIモデルトレーニング機能を自社プラットフォームに統合する戦略の一部であった。買収後、RaoはDatabricksのAI担当バイスプレジデントとなり、生成AIソリューションの開発と展開を主導した。
Raoのリーダーシップの下、Databricksは2024年3月に1320億パラメータの大規模言語モデルでmixture-of-expertsアーキテクチャを採用したDBRXモデルをリリースした。DBRXは、プロプライエタリモデルに対するオープンソースの代替として位置づけられ、効率性と性能を強調した。Raoはまた、オープンソースAIの声高な提唱者であり、透明性とコミュニティの協力が責任あるAI開発に不可欠であると主張している。
貢献と評価
Raoは深層学習と機械学習に関する複数の論文を執筆し、AIハードウェアとソフトウェアに関連する複数の特許を保有している。彼は、NeurIPS（神経情報処理システム会議）やICML（国際機械学習会議）を含む業界会議で頻繁に講演している。2023年には、起業家としての業績が評価され、Forbes 50 Over 50リストに選出された。
彼の業績は、特に費用対効果の高いモデルトレーニングの分野で、より広範なAIエコシステムに影響を与えてきた。大規模言語モデルの開発に必要な計算リソースを削減することで、Raoは小規模な組織や研究者がAI研究と応用に参加できるようにし、この分野における大手テクノロジー企業の支配に挑戦してきた。
私生活と哲学
Raoは、理論的な優雅さよりも実用的な成果を重視する現実的なAIへのアプローチで知られている。彼はAI開発を人間の価値観と一致させることの重要性について語り、AIの安全性と倫理を支援するイニシアチブを支持してきた。インタビューでは、神経科学のバックグラウンドをインスピレーションの源として挙げ、生物学的知能を理解することが人工システムの設計に役立つと述べている。
彼はサンフランシスコ・ベイエリアに在住し、AIスタートアップコミュニティで引き続き活動しており、初期段階の企業のメンタリングや技術戦略のアドバイスを行っている。チップ設計からAIソフトウェアへの彼のキャリアの軌跡は、現代の人工知能研究と開発の学際的な性質を示している。