OctoML是一家专注于优化机器学习模型部署的技术公司。该公司由计算机科学家Luis Ceze于2019年创立，开发了用于加速和简化机器学习模型在各种硬件平台上运行的工具。2024年，OctoML更名为OctoAI，随后被Nvidia收购，其技术成为Nvidia AI系统软件栈的一部分。
该公司的核心重点是解决在生产环境中部署深度学习模型的复杂性。OctoML的平台利用Apache TVM（一个用于神经网络优化的开源编译器框架）自动调整模型以适应特定硬件，从而降低延迟和成本。这使该公司在更广泛的人工智能基础设施生态系统中占据一席之地，与其他优化和云服务提供商竞争。
创立与早期发展
OctoML于2019年由Luis Ceze创立，他是华盛顿大学的教授，也是以计算机架构和机器学习系统研究闻名的研究者。Ceze与来自该大学的其他研究人员共同创立了该公司，包括Thierry Moreau和Jared Roesch，他们曾为Apache TVM的开发做出贡献。公司总部位于华盛顿州西雅图，并获得了包括Madrona Venture Group在内的风险投资公司的初始资金，Ceze自2018年起在该公司担任风险合伙人。
创始团队旨在将Apache TVM背后的研究商业化，该框架是在华盛顿大学和其他机构开发的。公司的早期产品专注于自动化优化机器学习模型以适应不同硬件的过程，例如Intel CPU、AMD GPU和基于ARM的处理器。这旨在帮助公司避免为每个部署环境手动调整模型这一耗时任务。
产品演进与更名为OctoAI
2023年6月，OctoML推出了OctoAI，这是一款生成式AI产品，旨在简化大型语言模型和其他生成式AI应用的部署。OctoAI提供了一个托管平台，允许开发者以优化性能运行和扩展Llama和Stable Diffusion等模型。到2024年1月，该公司已更名为OctoAI，Ceze解释说这一变更旨在“消除我们产品与公司名称之间可能存在的混淆”。当时，Ceze表示OctoAI拥有数千名用户。
2024年6月，OctoAI推出了OctoStack，这是一款旨在帮助客户针对其特定用例定制AI模型的产品。OctoStack提供了微调和提供模型服务的工具，并具备企业级安全性和可扩展性。这些产品使OctoAI在日益增长的AI基础设施市场中成为关键参与者，与Amazon Web Services、Google Cloud和Azure的产品竞争。
被Nvidia收购
2024年9月，The Information报道称Nvidia正考虑以约1.65亿美元收购OctoAI。该收购于2024年9月25日完成。收购后，Luis Ceze成为Nvidia AI系统软件副总裁，同时保留其在华盛顿大学的学术职位。此次收购是Nvidia加强其AI部署软件生态系统的更广泛战略的一部分，补充了其Nvidia GPU和CUDA软件等硬件产品。
此次收购对OctoML来说是一个重要里程碑，该公司已从包括Madrona Venture Group、Amplify Partners和Tiger Global Management在内的投资者那里筹集了超过1.3亿美元的资金。该公司的技术被整合到Nvidia的AI软件栈中，可能惠及那些寻求在Nvidia硬件上优化模型的Nvidia客户。
技术与影响
OctoML的核心技术基于Apache TVM，这是一个开源深度学习编译器，使模型能够在各种硬件上高效运行。该公司的平台自动化了模型优化过程，包括量化、剪枝和算子融合，这可以显著降低推理延迟和成本。这对于大型语言模型部署尤其相关，因为其计算需求很高。
OctoML的工具被医疗保健、金融和电子商务等各个领域的企业用于大规模部署AI应用。该公司还为开源社区做出了贡献，其工程师积极维护Apache TVM及相关项目。通过使模型优化更加易于访问，OctoML帮助普及了AI部署，使较小的公司无需专业知识即可利用先进的机器学习。
遗产与未来
收购后，OctoAI的产品继续以Nvidia品牌提供，重点是整合到Nvidia的AI平台中。该公司的技术预计将在Nvidia提供端到端AI开发和部署解决方案的努力中发挥作用。此次收购还凸显了软件优化在AI行业中日益增长的重要性，因为仅靠硬件不足以实现最佳性能。
Luis Ceze在OctoML和Apache TVM方面的工作获得了众多奖项的认可，包括2022年的ACM Fellow和2020年的Maurice Wilkes Award。他对计算机科学和AI系统的贡献继续影响着学术界和工业界。