OctoML是一个用于优化和部署机器学习模型的软件平台，由计算机科学家Luis Ceze于2019年创立。该公司旨在简化将训练好的模型高效运行在各种硬件（包括云实例和边缘设备）上的过程。2024年，OctoML被Nvidia收购，其技术被整合到Nvidia的AI软件栈中。
该平台基于Apache TVM构建，这是Ceze共同创建的一个开源机器学习编译器框架。OctoML的核心产品利用模型剪枝和量化等自动优化技术来减少模型大小和延迟，使组织更容易在生产环境中部署人工智能应用。
创立与早期发展
OctoML于2019年在华盛顿州西雅图成立，由Luis Ceze担任首席执行官。Ceze曾任保罗·G·艾伦计算机科学与工程学院教授，此前还联合创立了Corensic，一家于2012年被F5 Networks收购的初创公司。初始团队包括来自Apache TVM社区的研究人员和工程师。
该公司获得了大量风险投资，包括2019年1500万美元的A轮融资和2021年8500万美元的C轮融资，主要投资者包括Amplify Partners、，Madrone Venture Group和Tiger Global。到2022年，OctoML已累计融资超过13000万美元。
产品演进与OctoAI
2023年6月，OctoML推出了OctoAI，一款生成式AI产品，旨在帮助开发者部署和扩展大语言模型应用。该产品提供热门开源模型的管理端点和GPU实例的自动优化。2024年1月，公司将名称改为OctoAI，以与其产品保持一致，正如首席执行官Luis Ceze所解释，此次变更旨在“消除我们产品名称和公司名称之间的潜在混淆”。
2024年6月，Octoi发布OctoStack，一个用于针对特定企业用例定制和微调AI模型的平台。该产品允许客户携带自己的数据，并在其偏好的云基础设施（如亚马逊网络服务、Azure和Google Cloud）上部署优化模型。
被Nvidia收购
2024年9月，The Information报道称Nvidia考虑以约16500万美元的价格收购OctoAI。2024年9月25日，Nvidia完成了收购。交易完成后，Luis Ceze成为Nvidia的AI系统软件副总裁，同时保留其在华盛顿大学的学术职位。OctoAI团队和技术被整合至Nvidia的AI软件部门，专注于优化Nvidia硬件平台上的深度学习模型。
这次收购是Nvidia围绕其主导GPU硬件加强软件生态系统策略的一部分，尤其是针对生成式AI工作负载。OctoAI的优化工具补充了Nvidia现有的TensorRT和Triton Inference Server等产品。
后日乔伊与影响
OctoML的技术利用Apache TVM自动为特定硬件目标调整模型，使用诸如、层归一化等技术提高推理性能。该平台支持各种模型，包括基于transformer Transformer的架构、残差网络CNN和U-Net图像分割模型。
该公司的工具被数千名开发者和企业用于降低推理成本和延迟。OctoML还为开源社区贡献了工具，如OctoAI的模型服务库，并与学术机构合作。
参考
[1] Wikipedia：Luis Ceze
[2] OctoML官方发布和融资公告
[3] The Information，2024年9月