Naveen Rao es un empresario e ingeniero estadounidense conocido por su trabajo en inteligencia artificial y aprendizaje automático, particularmente en el campo del entrenamiento de modelos de lenguaje de gran escala. Cofundó y fue director ejecutivo de MosaicML, una startup centrada en hacer que el entrenamiento de modelos de IA fuera más accesible y rentable, que fue adquirida por Databricks en julio de 2023 por aproximadamente 1.300 millones de dólares. Antes de MosaicML, Rao ocupó puestos de liderazgo en Intel y Nervana Systems, contribuyendo al desarrollo de hardware especializado para aprendizaje profundo.
La carrera de Rao abarca tanto los aspectos de hardware como de software de la IA, lo que refleja una comprensión profunda de los desafíos computacionales que subyacen a las redes neuronales modernas. Su trabajo ha sido fundamental para avanzar en el despliegue práctico de sistemas de IA generativa, especialmente mediante técnicas como la compresión de modelos y el entrenamiento distribuido eficiente.
Primeros años y educación
Rao obtuvo su licenciatura en Ingeniería Eléctrica en la Universidad de Duke y posteriormente completó un doctorado en Neurociencia en la Universidad de Brown. Su formación académica combinó la ingeniería con un enfoque en los sistemas neuronales biológicos, lo que informó su enfoque posterior al aprendizaje automático. Antes de entrar en la industria de la IA, trabajó como arquitecto de chips en Broadcom y Qualcomm, donde adquirió experiencia en el diseño de procesadores de alto rendimiento.
En 2014, Rao cofundó Nervana Systems con Amir Khosrowshahi y Arjun Bansal. La empresa desarrolló un chip de IA personalizado llamado Nervana Engine, diseñado específicamente para cargas de trabajo de aprendizaje profundo. Nervana fue adquirida por Intel en agosto de 2016 por un monto reportado de 408 millones de dólares, tras lo cual Rao se convirtió en el gerente general del grupo de productos de IA de Intel.
Liderazgo en Intel
En Intel, Rao supervisó el desarrollo de la familia de procesadores neuronales Nervana (NNP), incluidos el NNP-T para entrenamiento y el NNP-I para inferencia. Estos chips estaban destinados a competir con las GPU de NVIDIA en el mercado de aceleradores de IA. Bajo su liderazgo, Intel también adquirió Vertex.AI en 2018, una startup centrada en la optimización de modelos de IA, para fortalecer su pila de software.
A pesar de estos esfuerzos, el hardware de IA de Intel tuvo dificultades para ganar una tracción significativa en el mercado frente a competidores establecidos. Rao dejó Intel en 2020, e Intel posteriormente descontinuó la línea de productos Nervana en 2021, cambiando el enfoque a otras iniciativas de IA. Su tiempo en Intel proporcionó información valiosa sobre las limitaciones de los enfoques centrados en el hardware, lo que influyó en su trabajo posterior en MosaicML.
Fundación de MosaicML
En 2021, Rao cofundó MosaicML con Hanlin Tang y Jonathan Frankle. La empresa tenía como objetivo democratizar la IA proporcionando herramientas y plataformas para entrenar modelos de lenguaje de gran escala de manera eficiente. El producto insignia de MosaicML, la Plataforma MosaicML, ofrecía un servicio gestionado para entrenar y ajustar modelos, junto con la familia de modelos de código abierto MPT (Mosaic Pretrained Transformer).
Una de las innovaciones clave de MosaicML fue el uso de arquitecturas Transformer (architecture) con técnicas de entrenamiento optimizadas, como FlashAttention y entrenamiento de baja precisión. La empresa demostró que podía entrenar modelos con miles de millones de parámetros a una fracción del costo típicamente asociado con tales esfuerzos. En marzo de 2023, MosaicML lanzó MPT-7B, un modelo de 7 mil millones de parámetros que destacó por su rendimiento competitivo y su disponibilidad de código abierto.
Adquisición por Databricks y trabajo posterior
Databricks, una empresa de análisis de datos, adquirió MosaicML en julio de 2023. La adquisición fue parte de la estrategia de Databricks para integrar capacidades de entrenamiento de modelos de IA en su plataforma, compitiendo con ofertas de OpenAI, Anthropic y Google Cloud. Tras la adquisición, Rao se convirtió en vicepresidente de IA en Databricks, liderando los esfuerzos de la empresa para desarrollar y desplegar soluciones de IA generativa.
Bajo el liderazgo de Rao, Databricks lanzó el modelo DBRX en marzo de 2024, un modelo de lenguaje de gran escala de 132 mil millones de parámetros con una arquitectura de mezcla de expertos. DBRX se posicionó como una alternativa de código abierto a los modelos propietarios, enfatizando la eficiencia y el rendimiento. Rao también ha sido un defensor vocal de la IA de código abierto, argumentando que la transparencia y la colaboración comunitaria son esenciales para el desarrollo responsable de la IA.
Contribuciones y reconocimiento
Rao ha escrito varios artículos sobre aprendizaje profundo y aprendizaje automático, y posee múltiples patentes relacionadas con hardware y software de IA. Ha sido un orador frecuente en conferencias de la industria, incluida la Conferencia sobre Sistemas de Procesamiento de Información Neuronal (NeurIPS) y la Conferencia Internacional sobre Aprendizaje Automático (ICML). En 2023, fue incluido en la lista Forbes 50 Over 50 por sus logros empresariales.
Su trabajo ha influido en el ecosistema más amplio de la IA, particularmente en el área del entrenamiento de modelos rentable. Al reducir los recursos computacionales requeridos para el desarrollo de modelos de lenguaje de gran escala, Rao ha ayudado a permitir que organizaciones más pequeñas e investigadores participen en la investigación y aplicación de la IA, desafiando el dominio de las grandes empresas tecnológicas en el campo.
Vida personal y filosofía
Rao es conocido por su enfoque pragmático de la IA, enfatizando los resultados prácticos sobre la elegancia teórica. Ha hablado sobre la importancia de alinear el desarrollo de la IA con los valores humanos y ha apoyado iniciativas para la seguridad y ética de la IA. En entrevistas, ha citado su formación en neurociencia como fuente de inspiración, señalando que comprender la inteligencia biológica puede informar el diseño de sistemas artificiales.
Reside en el Área de la Bahía de San Francisco y continúa activo en la comunidad de startups de IA, asesorando a empresas en etapa inicial y asesorando sobre estrategia tecnológica. Su trayectoria profesional, desde el diseño de chips hasta el software de IA, ilustra la naturaleza interdisciplinaria de la investigación y el desarrollo de la inteligencia artificial moderna.