Naveen Rao é um empresário e engenheiro americano conhecido por seu trabalho em inteligência artificial e aprendizado automático, particularmente no campo do treinamento de modelos de linguagem de grande escala. Ele cofundou e atuou como CEO da MosaicML, uma startup focada em tornar o treinamento de modelos de IA mais acessível e econômico, que foi adquirida pela Databricks em julho de 2023 por aproximadamente 1,3 bilhões de dólares. Antes da MosaicML, Rao ocupou cargos de liderança na Intel e na Nervana Systems, contribuindo ao desenvolvimento de hardware especializado para aprendizado profundo.
A carreira de Rao abarca tanto os aspectos de hardware como de software da IA, refletindo uma compreensão profunda dos desafios computacionais subjacentes às redes neurais modernas. Seu trabalho foi fundamental para avançar na implantação prática de sistemas de IA generativa, especialmente através de técnicas como compressão de modelos e treinamento distribuído eficiente.
Início de Carreira e Educação
Rao obtuvo seu Bachillerato en Ciencias em Engenharia Eléctrica na Duke University e posteriormente completou um PhD em Neurociência na Brown University. Su formação acadêmica combinou engeniería com um foco em sistemas neurais biológicos, o que informou sua abordagem posterior ao aprendizado automático. Antes de entrar na indústria da IA, trabalhou como arquiteto de chips em Broadcom e Qualcomm, onde ganhou experiência no design de processadores de alto desempeño.
Em 2014, Rao cofundou Nervana Systems com Amir Khosrowshahi e Arjun Bansal. A empresa desenvolveu um chip de IA personalizado chamado Nervana Engine, designado especificamente para cargas de trabalho de aprendizado profundo. Nervana foi adquirida pela Intel em agosto de 2016 por um reportado montante de 408 milhões de dólares, após o qual Rao se tornou gerente geral do grupo de produtos de IA da Intel.
Liderazgo na Intel
Na Intel, Rao supervisionó o desenvolvimento da família de processadores neurais Nervana (NNP), incluindo o NNP-T para treinamento e o NNP-I para inferência. Estes chips foram designados para competir com as GPUs de NVIDIA no mercado de aceleradores de IA. Sob sua liderança, a Intel também adquiriu Vertex.AI em 2018, uma startup focada na optimização de modelos de IA, para fortalecer sua stack de software.
A pesar destes esforços, o hardware de IA da Intel teve dificuldades para ganar tração significativa no mercado contra competidores estabelecidos. Rao deixou a Intel em 2020, e a Intel posteriormente descontinuó a linha de produtos Nervana em 2021, deslocando o foco a outras iniciativas de IA. Su tempo na Intel proporcionó valiosas percepções sobre as limitações das abordagens centradas no hardware, o que influenció seu trabalho posterior na MosaicML.
Fundação da MosaicML
Em 2021, Rao cofundou MosaicML com Hanlin Tang e Jonathan Frankle. A empresa tinha como objetivo democratizar a IA proporcionando ferramentas e plataformas para treinar modelos de linguagem de grande escala de forma eficiente. O produto principal da MosaicML, a Plataforma MosaicML, oferecia um serviço gerenciado para treinamento e ajuste fino de modelos, junto com a família de modelos de código aberto MPT (Mosaic Pretrained Transformer).
Uma das inovações clave da MosaicML foi o uso de arquiteturas transformadoras com técnicas de treinamento optimizadas, como FlashAttention e treinamento de baixa precisão. A empresa demonstrou que podía treinar modelos com bilhões de parámetros a uma fração do custo tipicamente associado com tais esforços. Em março de 2023, MosaicML lançó MPT-7B, um modelo de 7 bilhões de parámetros que foi notável por seu desempeño competitivo e disponibilidade de código aberto.
Adquisición pela Databricks e Trabalho Posterior
Databricks, uma empresa de análise de dados, adquirió MosaicML em julho de 2023. A adquisición foi parte da estratégia da Databricks para integrar capacidades de treinamento de modelos de IA em sua plataforma, competindo com ofertas de OpenAI, Anthropic e Google Cloud. Após a adquisición, Rao se tornou vicepresidente de IA na Databricks, liderando os esforços da empresa para desenvolver e implantar soluções de IA generativa.
Sob a liderança de Rao, Databricks lançó o modelo DBRX em março de 2024, um modelo de linguagem de grande escala de 132 bilhões de parámetros com uma arquitetura de mistura de expertos. DBRX foi posicionado como uma alternativa de código aberto aos modelos proprietários, enfatizando eficiencia e desempeño. Rao também tem sido um defensor vocal da IA de código aberto, argumentando que a transparencia e a colaboração comunitária são essenciais para o desenvolvimento responsável da IA.
Contribuciones e Reconocimiento
Rao tem autoria de vários artículos sobre aprendizado profundo e aprendizado automático, e possui múltiples patentes relacionadas com hardware e software de IA. Tem sido um orador frequente em conferências da indústria, incluindo a Conferência sobre Sistemas de Procesamiento de Información Neural (NeurIPS) e a Conferência Internacional sobre Aprendizado Automático (ICML). Em 2023, foi nomeado na lista Forbes 50 Over 50 por seus logros empresariales.
Seu trabalho influenció o ecosistema mais amplo da IA, particularmente na área de treinamento de modelos com eficiencia de costos. Ao reduzir os recursos computacionais requeridos para o desenvolvimento de modelos de linguagem de grande escala, Rao ajudó a permitir que organizações menores e investigadores participassem na pesquisa e aplicação da IA, desafiando a dominância das grandes empresas tecnológicas no campo.
Vida Personal e Filosofia
Rao é conhecido por sua abordagem pragmática à IA, enfatizando resultados práticos sobre elegância teórica. Tem falado sobre a importância de alinear o desenvolvimento da IA com valores humanos e tem apoiado iniciativas para a segurança e ética da IA. Em entrevistas, tem citado sua formação em neurociência como fonte de inspiração, notando que comprender a inteligência biológica pode informar o design de sistemas artificiais.
Reside na área da Baía de San Francisco e continua ativo na comunidade de startups de IA, mentorando empresas em fase inicial e assessorando sobre estratégia tecnológica. Su trajetória desde o design de chips até o software de IA ilustra a natureza interdisciplinaria da pesquisa e desenvolvimento modernos em inteligência artificial.