OctoML ist eine Softwareplattform zur Optimierung und Bereitstellung von Machine-Learning-Modellen, die 2019 vom Informatiker Luis Ceze gegründet wurde. Das Unternehmen zielte darauf ab, den Prozess zu vereinfachen, trainierte Modelle effizient auf verschiedener Hardware, einschließlich Cloud-Instanzen und Edge-Geräten, auszuführen. 2024 wurde OctoML von Nvidia übernommen, und seine Technologie wurde in den KI-Software-Stack von Nvidia integriert.
Die Plattform basierte auf Apache TVM, einem Open-Source-Compiler-Framework für maschinelles Lernen, das Ceze mitentwickelt hatte. Das Kernangebot von OctoML nutzte automatisierte Optimierungstechniken wie Modell-Pruning und Quantisierung, um Modellgröße und Latenz zu reduzieren und es Organisationen zu erleichtern, Künstliche-Intelligenz-Anwendungen in der Produktion einzusetzen.
Gründung und frühe Entwicklung
OctoML wurde 2019 in Seattle, Washington, von Luis Ceze gegründet, der als CEO fungierte. Ceze war Professor an der Paul G. Allen School of Computer Science & Engineering und hatte zuvor Corensic mitgegründet, ein Startup, das 2012 von F5 Networks übernommen wurde. Das anfängliche Team umfasste Forscher und Ingenieure aus der Apache-TVM-Community.
Das Unternehmen sammelte erhebliches Risikokapital, darunter eine Serie-A-Finanzierungsrunde über 15 Millionen US-Dollar im Jahr 2019 und eine Serie-C-Runde über 85 Millionen US-Dollar im Jahr 2021, angeführt von Investoren wie Amplify Partners, Madrona Venture Group und Tiger Global. Bis 2022 hatte OctoML insgesamt über 130 Millionen US-Dollar an Finanzierung eingeworben.
Produktentwicklung und OctoAI
Im Juni 2023 startete OctoML OctoAI, ein generatives KI-Produkt, das Entwicklern helfen sollte, Large-Language-Model-Anwendungen bereitzustellen und zu skalieren. Das Produkt bot verwaltete Endpunkte für beliebte Open-Source-Modelle und automatisierte Optimierung für GPU-Instanzen. Im Januar 2024 benannte sich das Unternehmen in OctoAI um, um sich an seinem Produktfokus auszurichten, wobei CEO Luis Ceze erklärte, die Änderung diene dazu, "potenzielle Verwirrung zwischen unserem Produkt- und Firmennamen zu beseitigen."
Im Juni 2024 führte OctoAI OctoStack ein, eine Plattform zur Anpassung und Feinabstimmung von KI-Modellen für spezifische Unternehmensanwendungsfälle. Das Produkt ermöglichte es Kunden, eigene Daten einzubringen und optimierte Modelle auf ihrer bevorzugten Cloud-Infrastruktur bereitzustellen, einschließlich Amazon Web Services, Azure und Google Cloud.
Übernahme durch Nvidia
Im September 2024 berichtete The Information, dass Nvidia eine Übernahme von OctoAI für etwa 165 Millionen US-Dollar erwog. Am 25. September 2024 schloss Nvidia die Übernahme ab. Nach dem Deal wurde Luis Ceze Vizepräsident für KI-Systemsoftware bei Nvidia, behielt jedoch seine akademische Position an der University of Washington. Das OctoAI-Team und die Technologie wurden in die KI-Softwareabteilung von Nvidia integriert, mit Fokus auf die Optimierung von Deep-Learning-Modellen für die Hardware-Plattformen von Nvidia.
Die Übernahme war Teil der breiteren Strategie von Nvidia, sein Software-Ökosystem rund um seine dominante GPU-Hardware zu stärken, insbesondere für Generative-KI-Workloads. Die Optimierungstools von OctoAI ergänzten bestehende Angebote von Nvidia wie TensorRT und Triton Inference Server.
Technologie und Auswirkungen
Die Technologie von OctoML nutzte Apache TVM, um Modelle automatisch für spezifische Hardware-Ziele zu optimieren, wobei Techniken wie Batch-Normalisierung und Layer-Normalisierung zur Verbesserung der Inferenzleistung eingesetzt wurden. Die Plattform unterstützte eine breite Palette von Modellen, einschließlich Transformer-basierter Architekturen, Residual-Network-CNNs und U-Net-Modellen für die Bildsegmentierung.
Die Tools des Unternehmens wurden von Tausenden von Entwicklern und Unternehmen genutzt, um Inferenzkosten und Latenz zu reduzieren. OctoML trug auch zur Open-Source-Community bei, indem es Tools wie die Modell-Serving-Bibliothek von OctoAI veröffentlichte und mit akademischen Institutionen zusammenarbeitete.
Referenzen
[1] Wikipedia: Luis Ceze
[2] Pressemitteilungen und Finanzierungsankündigungen von OctoML
[3] The Information, September 2024