OctoML ist ein Technologieunternehmen, das sich auf die Optimierung der Bereitstellung von Modellen des maschinellen Lernens spezialisiert hat. Das 2019 vom Informatiker Luis Ceze gegründete Unternehmen entwickelte Werkzeuge, um die Ausführung von Modellen des maschinellen Lernens auf verschiedenen Hardware-Plattformen zu beschleunigen und zu vereinfachen. Im Jahr 2024 wurde OctoML in OctoAI umbenannt und anschließend von Nvidia übernommen, wobei seine Technologie Teil des KI-Systemsoftware-Stacks von Nvidia wurde.
Der Kernfokus des Unternehmens lag auf der Bewältigung der Komplexität der Bereitstellung von Deep-Learning-Modellen in Produktionsumgebungen. Die Plattform von OctoML nutzte Apache TVM, ein Open-Source-Compiler-Framework für die Neuronale-Netze-Optimierung, um Modelle automatisch für bestimmte Hardware zu optimieren und so Latenz und Kosten zu reduzieren. Dies positionierte das Unternehmen innerhalb des breiteren Künstliche-Intelligenz-Infrastruktur-Ökosystems, wo es mit anderen Optimierungs- und Cloud-Diensten konkurrierte.
Gründung und frühe Entwicklung
OctoML wurde 2019 von Luis Ceze, einem Professor an der University of Washington und Forscher, der für seine Arbeiten zu Computerarchitektur und Systemen des maschinellen Lernens bekannt ist, gegründet. Ceze gründete das Unternehmen zusammen mit anderen Forschern der Universität, darunter Thierry Moreau und Jared Roesch, die zur Entwicklung von Apache TVM beigetragen hatten. Das Unternehmen hatte seinen Hauptsitz in Seattle, Washington, und erhielt Anfangskapital von Risikokapitalgesellschaften wie Madrona Venture Group, wo Ceze seit 2018 Venture Partner war.
Das Gründungsteam zielte darauf ab, die Forschung hinter Apache TVM zu kommerzialisieren, die an der University of Washington und anderen Institutionen entwickelt worden war. Das frühe Produkt des Unternehmens konzentrierte sich auf die Automatisierung des Prozesses der Optimierung von Modellen des maschinellen Lernens für verschiedene Hardware, wie Intel-CPUs, AMD-GPUs und ARM-basierte Prozessoren. Dies sollte Unternehmen helfen, die manuelle, zeitaufwändige Aufgabe der Abstimmung von Modellen für jede Bereitstellungsumgebung zu vermeiden.
Produktentwicklung und Umbenennung in OctoAI
Im Juni 2023 startete OctoML OctoAI, ein generatives KI-Produkt, das die Bereitstellung großer Sprachmodelle und anderer generativer KI-Anwendungen vereinfachen sollte. OctoAI bot eine verwaltete Plattform, die es Entwicklern ermöglichte, Modelle wie Llama und Stable Diffusion mit optimierter Leistung auszuführen und zu skalieren. Bis Januar 2024 hatte sich das Unternehmen in OctoAI umbenannt, wobei Ceze erklärte, dass die Änderung vorgenommen wurde, um „potenzielle Verwirrung zwischen unserem Produkt- und Firmennamen zu beseitigen". Zu diesem Zeitpunkt gab Ceze an, dass OctoAI Tausende von Nutzern hatte.
Im Juni 2024 startete OctoAI OctoStack, ein Produkt, das Kunden dabei helfen sollte, KI-Modelle für ihre spezifischen Anwendungsfälle anzupassen. OctoStack bot Werkzeuge für das Feintuning und die Bereitstellung von Modellen mit Unternehmenssicherheit und Skalierbarkeit. Diese Produkte positionierten OctoAI als wichtigen Akteur im wachsenden Markt für KI-Infrastruktur, wo es mit Angeboten von Amazon Web Services, Google Cloud und Azure konkurrierte.
Übernahme durch Nvidia
Im September 2024 berichtete The Information, dass Nvidia erwog, OctoAI für etwa 165 Millionen US-Dollar zu übernehmen. Die Übernahme wurde am 25. September 2024 abgeschlossen. Nach der Übernahme wurde Luis Ceze Vizepräsident für KI-Systemsoftware bei Nvidia, behielt aber auch seine akademische Position an der University of Washington. Die Übernahme war Teil der breiteren Strategie von Nvidia, sein Software-Ökosystem für die KI-Bereitstellung zu stärken und seine Hardware-Angebote wie Nvidia-GPUs und CUDA-Software zu ergänzen.
Die Übernahme markierte einen bedeutenden Meilenstein für OctoML, das über 130 Millionen US-Dollar an Finanzmitteln von Investoren wie Madrona Venture Group, Amplify Partners und Tiger Global Management aufgebracht hatte. Die Technologie des Unternehmens wurde in den KI-Software-Stack von Nvidia integriert, was potenziell Kunden von Nvidia zugutekommen könnte, die Modelle auf Nvidia-Hardware optimieren möchten.
Technologie und Auswirkungen
Die Kerntechnologie von OctoML basierte auf Apache TVM, einem Open-Source-Compiler für Deep Learning, der es Modellen ermöglicht, effizient auf verschiedenen Hardware-Plattformen zu laufen. Die Plattform des Unternehmens automatisierte den Prozess der Modelloptimierung, einschließlich Quantisierung, Pruning und Operator-Fusion, was die Inferenzlatenz und -kosten erheblich reduzieren konnte. Dies war besonders relevant für die Bereitstellung von großen Sprachmodellen, bei denen die Rechenanforderungen hoch sind.
Die Werkzeuge von OctoML wurden von Unternehmen in verschiedenen Sektoren, darunter Gesundheitswesen, Finanzen und E-Commerce, genutzt, um KI-Anwendungen in großem Maßstab bereitzustellen. Das Unternehmen trug auch zur Open-Source-Community bei, wobei seine Ingenieure aktiv Apache TVM und verwandte Projekte pflegten. Durch die Zugänglichkeit der Modelloptimierung trug OctoML zur Demokratisierung der KI-Bereitstellung bei, sodass kleinere Unternehmen fortschrittliches maschinelles Lernen ohne spezialisierte Expertise nutzen konnten.
Vermächtnis und Zukunft
Nach der Übernahme werden die Produkte von OctoAI weiterhin unter der Marke von Nvidia angeboten, mit einem Fokus auf die Integration in die KI-Plattformen von Nvidia. Es wird erwartet, dass die Technologie des Unternehmens eine Rolle in den Bemühungen von Nvidia spielt, End-to-End-Lösungen für die KI-Entwicklung und -Bereitstellung bereitzustellen. Die Übernahme unterstrich auch die wachsende Bedeutung der Software-Optimierung in der KI-Branche, da Hardware allein nicht ausreicht, um optimale Leistung zu erzielen.
Die Arbeit von Luis Ceze an OctoML und Apache TVM wurde mit zahlreichen Auszeichnungen gewürdigt, darunter die Ernennung zum ACM Fellow im Jahr 2022 und der Maurice-Wilkes-Preis im Jahr 2020. Seine Beiträge zur Informatik und zu KI-Systemen beeinflussen weiterhin sowohl die akademische Welt als auch die Industrie.