Naveen Rao est un entrepreneur et ingénieur américain connu pour ses travaux dans le domaine de l'intelligence artificielle et de l'apprentissage automatique, en particulier dans le domaine de l'entraînement des grands modèles de langage. Il a cofondé et dirigé MosaicML, une startup axée sur la démocratisation de l'entraînement des modèles d'IA en le rendant plus accessible et plus rentable, qui a été acquise par Databricks en juillet 2023 pour environ 1,3 milliard de dollars. Avant MosaicML, Rao a occupé des postes de direction chez Intel et Nervana Systems, contribuant au développement de matériel spécialisé pour l'apprentissage profond.
La carrière de Rao couvre à la fois les aspects matériels et logiciels de l'IA, reflétant une compréhension approfondie des défis computationnels sous-jacents aux réseaux neuronaux modernes. Son travail a joué un rôle déterminant dans l'avancement du déploiement pratique des systèmes d'IA générative, notamment grâce à des techniques telles que la compression de modèles et l'entraînement distribué efficace.
Début de carrière et formation
Rao a obtenu son baccalauréat en génie électrique à l'Université Duke, puis a complété un doctorat en neurosciences à l'Université Brown. Son parcours académique combinait l'ingénierie et une spécialisation dans les systèmes neuronaux biologiques, ce qui a influencé son approche ultérieure de l'apprentissage automatique. Avant d'entrer dans l'industrie de l'IA, il a travaillé comme architecte de puces chez Broadcom et Qualcomm, où il a acquis de l'expérience dans la conception de processeurs haute performance.
En 2014, Rao a cofondé Nervana Systems avec Amir Khosrowshahi et Arjun Bansal. L'entreprise a développé une puce d'IA personnalisée appelée Nervana Engine, conçue spécifiquement pour les charges de travail d'apprentissage profond. Nervana a été acquise par Intel en août 2016 pour un montant rapporté de 408 millions de dollars, après quoi Rao est devenu directeur général du groupe de produits d'IA d'Intel.
Direction chez Intel
Chez Intel, Rao a supervisé le développement de la famille de processeurs neuronaux Nervana (NNP), y compris le NNP-T pour l'entraînement et le NNP-I pour l'inférence. Ces puces étaient destinées à concurrencer les GPU de Nvidia sur le marché des accélérateurs d'IA. Sous sa direction, Intel a également acquis Vertex.AI en 2018, une startup spécialisée dans l'optimisation de modèles d'IA, afin de renforcer sa pile logicielle.
Malgré ces efforts, le matériel d'IA d'Intel a eu du mal à gagner une traction significative sur le marché face à des concurrents établis. Rao a quitté Intel en 2020, et Intel a ensuite abandonné la gamme de produits Nervana en 2021, se tournant vers d'autres initiatives en matière d'IA. Son passage chez Intel lui a fourni des informations précieuses sur les limites des approches centrées sur le matériel, ce qui a influencé son travail ultérieur chez MosaicML.
Fondation de MosaicML
En 2021, Rao a cofondé MosaicML avec Hanlin Tang et Jonathan Frankle. L'entreprise visait à démocratiser l'IA en fournissant des outils et des plateformes pour entraîner efficacement des grands modèles de langage. Le produit phare de MosaicML, la plateforme MosaicML, offrait un service géré pour l'entraînement et le réglage fin des modèles, ainsi que la famille de modèles open source MPT (Mosaic Pretrained Transformer).
L'une des innovations clés de MosaicML était l'utilisation d'architectures transformers avec des techniques d'entraînement optimisées, telles que FlashAttention et l'entraînement en basse précision. L'entreprise a démontré qu'elle pouvait entraîner des modèles avec des milliards de paramètres à une fraction du coût généralement associé à de tels efforts. En mars 2023, MosaicML a publié MPT-7B, un modèle de 7 milliards de paramètres remarquable pour ses performances compétitives et sa disponibilité en open source.
Acquisition par Databricks et travaux ultérieurs
Databricks, une entreprise d'analyse de données, a acquis MosaicML en juillet 2023. Cette acquisition s'inscrivait dans la stratégie de Databricks visant à intégrer des capacités d'entraînement de modèles d'IA dans sa plateforme, en concurrence avec les offres de OpenAI, Anthropic et Google Cloud. Après l'acquisition, Rao est devenu vice-président de l'IA chez Databricks, dirigeant les efforts de l'entreprise pour développer et déployer des solutions d'IA générative.
Sous la direction de Rao, Databricks a publié le modèle DBRX en mars 2024, un grand modèle de langage de 132 milliards de paramètres avec une architecture de mélange d'experts. DBRX a été positionné comme une alternative open source aux modèles propriétaires, mettant l'accent sur l'efficacité et la performance. Rao a également été un défenseur vocal de l'IA open source, arguant que la transparence et la collaboration communautaire sont essentielles pour un développement responsable de l'IA.
Contributions et reconnaissance
Rao a publié plusieurs articles sur l'apprentissage profond et l'apprentissage automatique, et détient plusieurs brevets liés au matériel et aux logiciels d'IA. Il a été un conférencier fréquent lors de conférences industrielles, notamment la Conférence sur les systèmes de traitement de l'information neuronale (NeurIPS) et la Conférence internationale sur l'apprentissage automatique (ICML). En 2023, il a été nommé sur la liste Forbes 50 Over 50 pour ses réalisations entrepreneuriales.
Son travail a influencé l'écosystème plus large de l'IA, en particulier dans le domaine de l'entraînement de modèles rentable. En réduisant les ressources computationnelles requises pour le développement de grands modèles de langage, Rao a contribué à permettre à des organisations plus petites et à des chercheurs de participer à la recherche et aux applications de l'IA, remettant en question la domination des grandes entreprises technologiques dans ce domaine.
Vie personnelle et philosophie
Rao est connu pour son approche pragmatique de l'IA, privilégiant les résultats pratiques à l'élégance théorique. Il a évoqué l'importance d'aligner le développement de l'IA sur les valeurs humaines et a soutenu des initiatives en faveur de la sécurité et de l'éthique de l'IA. Dans des interviews, il a cité son parcours en neurosciences comme source d'inspiration, notant que la compréhension de l'intelligence biologique peut éclairer la conception de systèmes artificiels.
Il réside dans la région de la baie de San Francisco et continue d'être actif dans la communauté des startups d'IA, encadrant des entreprises en phase de démarrage et conseillant sur la stratégie technologique. Sa trajectoire de carrière, de la conception de puces aux logiciels d'IA, illustre la nature interdisciplinaire de la recherche et du développement en intelligence artificielle moderne.