Naveen Rao ist ein amerikanischer Unternehmer und Ingenieur, der für seine Arbeit im Bereich künstlicher Intelligenz und maschinellem Lernen bekannt ist, insbesondere auf dem Gebiet des Trainings von großen Sprachmodellen. Er war Mitbegründer und CEO von MosaicML, einem Startup, das sich darauf konzentrierte, das Training von KI-Modellen zugänglicher und kostengünstiger zu machen, und das im Juli 2023 für etwa 1,3 Milliarden US-Dollar von Databricks übernommen wurde. Vor MosaicML hatte Rao Führungspositionen bei Intel und Nervana Systems inne und trug zur Entwicklung spezialisierter Hardware für Deep Learning bei.
Raos Karriere umfasst sowohl Hardware- als auch Softwareaspekte der KI und spiegelt ein tiefes Verständnis der rechnerischen Herausforderungen wider, die modernen neuronalen Netzen zugrunde liegen. Seine Arbeit war maßgeblich an der Förderung der praktischen Bereitstellung von generativen KI-Systemen beteiligt, insbesondere durch Techniken wie Modellkomprimierung und effizientes verteiltes Training.
Frühe Karriere und Ausbildung
Rao erwarb seinen Bachelor of Science in Elektrotechnik an der Duke University und promovierte später in Neurowissenschaften an der Brown University. Sein akademischer Hintergrund kombinierte Ingenieurwesen mit einem Fokus auf biologische neuronale Systeme, was seinen späteren Ansatz für maschinelles Lernen prägte. Bevor er in die KI-Branche eintrat, arbeitete er als Chip-Architekt bei Broadcom und Qualcomm, wo er Erfahrung im Entwurf leistungsfähiger Prozessoren sammelte.
Im Jahr 2014 gründete Rao zusammen mit Amir Khosrowshahi und Arjun Bansal Nervana Systems. Das Unternehmen entwickelte einen speziell für Deep-Learning-Workloads konzipierten KI-Chip namens Nervana Engine. Nervana wurde im August 2016 für berichtete 408 Millionen US-Dollar von Intel übernommen, woraufhin Rao General Manager der KI-Produktgruppe von Intel wurde.
Führungsrolle bei Intel
Bei Intel beaufsichtigte Rao die Entwicklung der Nervana Neural Network Processor (NNP)-Familie, einschließlich des NNP-T für das Training und des NNP-I für die Inferenz. Diese Chips sollten im Markt für KI-Beschleuniger mit den GPUs von Nvidia konkurrieren. Unter seiner Führung übernahm Intel 2018 auch Vertex.AI, ein Startup, das sich auf die Optimierung von KI-Modellen konzentrierte, um den Software-Stack zu stärken.
Trotz dieser Bemühungen hatte Intels KI-Hardware Schwierigkeiten, gegen etablierte Wettbewerber nennenswerte Marktdurchdringung zu erzielen. Rao verließ Intel im Jahr 2020, und Intel stellte die Nervana-Produktlinie 2021 ein und verlagerte den Fokus auf andere KI-Initiativen. Seine Zeit bei Intel lieferte wertvolle Einblicke in die Grenzen hardwarezentrierter Ansätze, die seine spätere Arbeit bei MosaicML beeinflussten.
Gründung von MosaicML
Im Jahr 2021 gründete Rao zusammen mit Hanlin Tang und Jonathan Frankle MosaicML. Das Unternehmen zielte darauf ab, KI zu demokratisieren, indem es Werkzeuge und Plattformen für das effiziente Training von großen Sprachmodellen bereitstellte. Das Flaggschiffprodukt von MosaicML, die MosaicML-Plattform, bot einen verwalteten Dienst für das Training und die Feinabstimmung von Modellen sowie die Familie der quelloffenen MPT-Modelle (Mosaic Pretrained Transformer).
Eine der wichtigsten Innovationen von MosaicML war die Verwendung von Transformer-Architekturen mit optimierten Trainingstechniken wie FlashAttention und Training mit geringer Präzision. Das Unternehmen zeigte, dass es Modelle mit Milliarden von Parametern zu einem Bruchteil der Kosten trainieren konnte, die üblicherweise mit solchen Bemühungen verbunden sind. Im März 2023 veröffentlichte MosaicML MPT-7B, ein Modell mit 7 Milliarden Parametern, das für seine wettbewerbsfähige Leistung und seine quelloffene Verfügbarkeit bemerkenswert war.
Übernahme durch Databricks und spätere Arbeit
Databricks, ein Datenanalyseunternehmen, übernahm MosaicML im Juli 2023. Die Übernahme war Teil der Strategie von Databricks, KI-Modelltrainingsfähigkeiten in seine Plattform zu integrieren und mit Angeboten von OpenAI, Anthropic und Google Cloud zu konkurrieren. Nach der Übernahme wurde Rao Vizepräsident für KI bei Databricks und leitete die Bemühungen des Unternehmens, generative KI-Lösungen zu entwickeln und bereitzustellen.
Unter Raos Führung veröffentlichte Databricks im März 2024 das Modell DBRX, ein großes Sprachmodell mit 132 Milliarden Parametern und einer Mixture-of-Experts-Architektur. DBRX wurde als quelloffene Alternative zu proprietären Modellen positioniert, wobei der Schwerpunkt auf Effizienz und Leistung lag. Rao hat sich auch lautstark für quelloffene KI eingesetzt und argumentiert, dass Transparenz und gemeinschaftliche Zusammenarbeit für eine verantwortungsvolle KI-Entwicklung unerlässlich sind.
Beiträge und Anerkennung
Rao hat mehrere Arbeiten über Deep Learning und maschinelles Lernen verfasst und hält mehrere Patente im Zusammenhang mit KI-Hardware und -Software. Er ist ein häufiger Redner auf Branchenkonferenzen, darunter die Conference on Neural Information Processing Systems (NeurIPS) und die International Conference on Machine Learning (ICML). Im Jahr 2023 wurde er für seine unternehmerischen Leistungen in die Forbes-Liste „50 Over 50“ aufgenommen.
Seine Arbeit hat das breitere KI-Ökosystem beeinflusst, insbesondere im Bereich des kosteneffizienten Modelltrainings. Durch die Reduzierung der für die Entwicklung von großen Sprachmodellen erforderlichen Rechenressourcen hat Rao dazu beigetragen, kleineren Organisationen und Forschern die Teilnahme an KI-Forschung und -Anwendung zu ermöglichen und die Dominanz großer Technologieunternehmen auf diesem Gebiet herauszufordern.
Persönliches Leben und Philosophie
Rao ist für seinen pragmatischen Ansatz in der KI bekannt, der praktische Ergebnisse über theoretische Eleganz stellt. Er hat über die Bedeutung der Ausrichtung der KI-Entwicklung an menschlichen Werten gesprochen und Initiativen für KI-Sicherheit und Ethik unterstützt. In Interviews hat er seinen neurowissenschaftlichen Hintergrund als Inspirationsquelle angeführt und darauf hingewiesen, dass das Verständnis biologischer Intelligenz das Design künstlicher Systeme informieren kann.
Er lebt in der San Francisco Bay Area und ist weiterhin in der KI-Startup-Community aktiv, indem er junge Unternehmen betreut und zu Technologiestrategien berät. Sein Karriereweg vom Chipdesign zur KI-Software veranschaulicht den interdisziplinären Charakter der modernen Forschung und Entwicklung im Bereich künstlicher Intelligenz.