纳文·拉奥是一位美国企业家和工程师，以其在人工智能和机器学习领域的工作而闻名，尤其是在大型语言模型训练方面。他共同创立了MosaicML并担任首席执行官，这家初创公司专注于让AI模型训练更加普及且成本更低，于2023年7月被Databricks以约13亿美元收购。在MosaicML之前，拉奥在英特尔和Nervana Systems担任领导职务，为深度学习专用硬件的开发做出了贡献。
拉奥的职业生涯横跨AI的硬件和软件两个方面，反映出他对现代神经网络底层计算挑战的深刻理解。他的工作对于推动生成式AI系统的实际部署至关重要，特别是通过模型压缩和高效分布式训练等技术。
早期职业生涯与教育
拉奥在杜克大学获得电气工程理学学士学位，随后在布朗大学完成神经科学博士学位。他的学术背景将工程学与对生物神经系统的关注相结合，这影响了他后来在机器学习方面的方法。在进入AI行业之前，他曾在博通和高通担任芯片架构师，积累了设计高性能处理器的经验。
2014年，拉奥与阿米尔·霍斯拉维和阿尔琼·班萨尔共同创立了Nervana Systems。该公司开发了一款名为Nervana Engine的定制AI芯片，专为深度学习工作负载而设计。Nervana于2016年8月被英特尔以据报道4.08亿美元收购，此后拉奥成为英特尔AI产品部门的总经理。
在英特尔的领导工作
在英特尔，拉奥负责监督Nervana神经网络处理器（NNP）系列的开发，包括用于训练的NNP-T和用于推理的NNP-I。这些芯片旨在与英伟达的GPU在AI加速器市场中竞争。在他的领导下，英特尔还在2018年收购了专注于AI模型优化的初创公司Vertex.AI，以加强其软件栈。
尽管付出了这些努力，英特尔的AI硬件在与成熟竞争对手的竞争中仍难以获得显著的市場吸引力。拉奥于2020年离开英特尔，英特尔随后在2021年停产了Nervana产品线，将重心转向其他AI计划。他在英特尔的经历为硬件中心方法的局限性提供了宝贵见解，这影响了他后来在MosaicML的工作。
创立MosaicML
2021年，拉奥与韩林·唐和乔纳森·弗兰克尔共同创立了MosaicML。该公司旨在通过提供高效训练大型语言模型的工具和平台来实现AI的民主化。MosaicML的旗舰产品MosaicML平台提供用于训练和微调模型的托管服务，以及MPT（Mosaic预训练Transformer）系列开源模型。
MosaicML的关键创新之一是利用Transformer架构并采用优化的训练技术，如FlashAttention和低精度训练。该公司证明，它可以以通常所需成本的一小部分训练具有数十亿参数的模型。2023年3月，MosaicML发布了MPT-7B，这是一个70亿参数的模型，以其竞争性性能和开源可用性而著称。
被Databricks收购及后续工作
数据分析公司Databricks于2023年7月收购了MosaicML。此次收购是Databricks将其平台整合AI模型训练能力战略的一部分，与OpenAI、Anthropic和谷歌云的产品竞争。收购后，拉奥成为Databricks的AI副总裁，领导公司开发和部署生成式AI解决方案。
在拉奥的领导下，Databricks于2024年3月发布了DBRX模型，这是一个具有混合专家架构的1320亿参数大型语言模型。DBRX被定位为专有模型的开源替代方案，强调效率和性能。拉奥也一直是开源AI的积极倡导者，认为透明度和社区协作对于负责任的AI发展至关重要。
贡献与认可
拉奥撰写了多篇关于深度学习和机器学习的论文，并拥有多项与AI硬件和软件相关的专利。他经常在行业会议上发言，包括神经信息处理系统大会（NeurIPS）和国际机器学习大会（ICML）。2023年，他因创业成就入选《福布斯》50岁以上50人榜单。
他的工作影响了更广泛的AI生态系统，特别是在成本高效的模型训练领域。通过减少大型语言模型开发所需的计算资源，拉奥帮助较小的组织和研究人员能够参与AI研究和应用，挑战了大型科技公司在该领域的主导地位。
个人生活与理念
拉奥以其务实的AI方法而闻名，强调实际成果而非理论上的优雅。他曾谈到将AI发展与人类价值观保持一致的重要性，并支持AI安全和伦理方面的倡议。在采访中，他提到自己的神经科学背景是灵感来源，指出理解生物智能可以为人工系统的设计提供信息。
他居住在旧金山湾区，并继续活跃于AI初创社区，指导早期公司并就技术战略提供建议。他的职业轨迹从芯片设计到AI软件，体现了现代人工智能研究与开发的跨学科性质。