OctoML AI，后更名为OctoAI，是一个机器学习部署平台，旨在优化并在多种硬件上运行人工智能模型。该公司由计算机科学家Luis Ceze于2019年创立，旨在简化在生产环境中部署机器学习模型的过程，解决硬件特定优化的复杂性。该平台利用了Ceze参与共同开发的开源Apache TVM编译器框架，自动调整模型以在CPU、GPU和专用加速器上实现最佳性能。2024年，OctoAI被Nvidia收购，其技术被整合到Nvidia的AI软件栈中。
该公司起源于华盛顿大学的研究，Ceze是该大学的教授。其核心技术专注于减少实现高推理性能所需的工程工作量，使缺乏深厚硬件专业知识的组织也能使用。OctoML的工具被数千名开发者和企业用于部署模型，执行自然语言处理、计算机视觉和生成式AI等任务。
创立与早期发展
Luis Ceze，一位巴西出生的美国计算机科学家，于2019年创立了OctoML。Ceze此前曾共同创立了Corensic，一家于2008年从华盛顿大学分拆出来的初创公司，并于2012年被F5 Networks收购。他的学术背景包括伊利诺伊大学厄巴纳-香槟分校的博士学位，以及在Paul G. Allen计算机科学与工程学院的教授职位。OctoML的最初重点是商业化Apache TVM，这是Ceze参与开发的一个开源深度学习编译器。该公司吸引了风险投资公司的关注，包括Madrona Venture Group，Ceze自2018年起在该公司担任风险合伙人。
该平台提供了一种基于云的服务，自动优化机器学习模型以针对特定硬件目标。用户可以上传在TensorFlow或PyTorch等框架中训练的模型，OctoML会生成运行更快、更高效的优化版本。这解决了AI行业中的一个重大瓶颈，即模型部署通常需要针对每个硬件平台进行手动调优。
产品演进与OctoAI
2023年6月，OctoML推出了OctoAI，一个生成式AI产品，旨在为大型语言模型和其他生成模型提供可扩展的推理服务。这标志着向满足生产环境中日益增长的AI应用需求转变。到2024年1月，公司更名为OctoAI以与其产品保持一致，Ceze解释这一变化是为了“消除我们产品与公司名称之间的潜在混淆”。当时，OctoAI报告拥有数千名用户。
2024年6月，OctoAI推出了OctoStack，一个旨在帮助客户根据其特定需求定制AI模型的产品。OctoStack允许用户以更大的控制力微调和部署模型，针对需要定制AI解决方案的企业。该平台支持多种硬件，包括Nvidia和AMD的GPU，以及来自Amazon Web Services、Microsoft Azure和Google Cloud的云服务。
被Nvidia收购
2024年9月，The Information报道称Nvidia曾考虑以1.65亿美元收购OctoAI。收购于2024年9月25日完成，Nvidia将OctoAI的技术和团队整合到其AI软件部门。收购后，Ceze成为Nvidia的AI系统软件副总裁，同时保留其在华盛顿大学的学术职位。这笔交易凸显了Nvidia加强其AI部署软件生态系统、补充其硬件产品的战略。
此次收购是AI基础设施领域更广泛整合趋势的一部分，主要芯片制造商寻求为Machine learning工作负载提供端到端解决方案。OctoAI在模型优化方面的专业知识被认为对Nvidia提高其GPU在推理任务中的效率具有价值。
技术与影响
OctoML的核心技术基于Apache TVM，一个使用Machine learning技术自动优化模型以针对目标硬件的编译器。这种方法减少了对手动内核调优的需求，而传统上这是一个耗时的过程。该平台支持多种硬件，包括Intel CPU、AMD GPU和基于Arm Holdings的处理器，以及专用加速器如AWS Trainium和Google Cloud TPU。
该公司的工具对于Large language model部署尤其相关，因为推理延迟和成本至关重要。通过针对特定硬件优化模型，OctoAI帮助组织降低运营成本并改善用户体验。该平台还与流行的Deep learning框架集成，使数据科学家和工程师易于使用。
认可与遗产
Luis Ceze因其对计算机科学的贡献获得了多项奖项，包括NSF职业奖（2009年）、斯隆研究奖学金（2010年）、IEEE TCCA青年计算机架构师奖（2013年）、莫里斯·威尔克斯奖（2020年），并于2022年当选为ACM会士。这些荣誉反映了他在计算机架构和机器学习系统方面的工作。OctoML的遗产通过Nvidia得以延续，Nvidia现在将其技术整合到Nvidia Triton Inference Server和TensorRT等产品中。该公司从大学分拆到关键收购的历程，凸显了软件优化在Artificial intelligence生态系统中日益增长的重要性。