OctoML AI, später bekannt als OctoAI, ist eine Plattform zur Bereitstellung von maschinellem Lernen, die entwickelt wurde, um Modelle der künstlichen Intelligenz auf verschiedener Hardware zu optimieren und auszuführen. Das Unternehmen wurde 2019 vom Informatiker Luis Ceze gegründet und zielte darauf ab, den Prozess der Bereitstellung von Modellen des maschinellen Lernens in Produktionsumgebungen zu vereinfachen und die Komplexität hardware-spezifischer Optimierungen zu adressieren. Die Plattform nutzte das Open-Source-Compiler-Framework Apache TVM, das Ceze mitentwickelt hatte, um Modelle automatisch für Leistung auf CPUs, GPUs und spezialisierten Beschleunigern abzustimmen. Im Jahr 2024 wurde OctoAI von Nvidia übernommen, das seine Technologie in den KI-Software-Stack von Nvidia integrierte.
Das Unternehmen entstand aus Forschung an der University of Washington, wo Ceze Professor ist. Seine Kerntechnologie konzentrierte sich darauf, den technischen Aufwand zu reduzieren, der für hohe Inferenzleistung erforderlich ist, und sie für Organisationen ohne tiefgehende Hardware-Expertise zugänglich zu machen. Die Tools von OctoML wurden von Tausenden von Entwicklern und Unternehmen genutzt, um Modelle für Aufgaben wie natürliche Sprachverarbeitung, Computer Vision und generative KI bereitzustellen.
Gründung und frühe Entwicklung
Luis Ceze, ein in Brasilien geborener amerikanischer Informatiker, gründete OctoML im Jahr 2019. Ceze hatte zuvor Corensic mitgegründet, ein Startup, das 2008 aus der University of Washington hervorging und 2012 von F5 Networks übernommen wurde. Sein akademischer Hintergrund umfasste einen Ph.D. von der University of Illinois Urbana-Champaign und eine Professur an der Paul G. Allen School of Computer Science & Engineering. Der anfängliche Fokus von OctoML lag auf der Kommerzialisierung von Apache TVM, einem Open-Source-Deep-Learning-Compiler, den Ceze mitentwickelt hatte. Das Unternehmen zog Aufmerksamkeit von Risikokapitalfirmen auf sich, darunter Madrona Venture Group, wo Ceze seit 2018 als Venture Partner tätig war.
Die Plattform bot einen cloudbasierten Dienst, der die Optimierung von Modellen des maschinellen Lernens für spezifische Hardware-Ziele automatisierte. Benutzer konnten Modelle hochladen, die in Frameworks wie TensorFlow oder PyTorch trainiert wurden, und OctoML generierte optimierte Versionen, die schneller und effizienter liefen. Dies adressierte einen erheblichen Engpass in der KI-Branche, wo die Modellbereitstellung oft manuelle Abstimmung für jede Hardware-Plattform erforderte.
Produktentwicklung und OctoAI
Im Juni 2023 startete OctoML OctoAI, ein generatives KI-Produkt, das skalierbare Inferenz für große Sprachmodelle und andere generative Modelle bieten sollte. Dies markierte eine Verschiebung hin zur Bedienung der wachsenden Nachfrage nach KI-Anwendungen in der Produktion. Bis Januar 2024 hatte sich das Unternehmen in OctoAI umbenannt, um sich an sein Produkt anzupassen, wobei Ceze erklärte, die Änderung diene dazu, "potenzielle Verwirrung zwischen unserem Produkt und dem Firmennamen zu beseitigen". Zu diesem Zeitpunkt berichtete OctoAI, Tausende von Benutzern zu haben.
Im Juni 2024 führte OctoAI OctoStack ein, ein Produkt, das darauf abzielte, Kunden bei der Anpassung von KI-Modellen an ihre spezifischen Bedürfnisse zu helfen. OctoStack ermöglichte es Benutzern, Modelle mit größerer Kontrolle fein abzustimmen und bereitzustellen, und zielte auf Unternehmen ab, die maßgeschneiderte KI-Lösungen benötigten. Die Plattform unterstützte eine Reihe von Hardware, darunter GPUs von Nvidia und AMD sowie Cloud-Dienste von Amazon Web Services, Azure und Google Cloud.
Übernahme durch Nvidia
Im September 2024 berichtete The Information, dass Nvidia erwogen hatte, OctoAI für 165 Millionen US-Dollar zu übernehmen. Die Übernahme wurde am 25. September 2024 abgeschlossen, wobei Nvidia die Technologie und das Team von OctoAI in seine KI-Software-Abteilung integrierte. Nach der Übernahme wurde Ceze Vizepräsident für KI-Systemsoftware bei Nvidia, behielt jedoch seine akademische Position an der University of Washington. Der Deal unterstrich Nvidias Strategie, sein Software-Ökosystem für KI-Bereitstellung zu stärken und seine Hardware-Angebote zu ergänzen.
Die Übernahme war Teil eines breiteren Trends der Konsolidierung im KI-Infrastrukturbereich, da große Chip-Hersteller versuchten, End-to-End-Lösungen für maschinelles Lernen-Workloads bereitzustellen. Die Expertise von OctoAI in der Modelloptimierung wurde als wertvoll für Nvidias Bemühungen angesehen, die Effizienz seiner GPUs bei Inferenzaufgaben zu verbessern.
Technologie und Auswirkungen
Die Kerntechnologie von OctoML basierte auf Apache TVM, einem Compiler, der maschinelles Lernen-Techniken nutzt, um Modelle automatisch für Zielhardware zu optimieren. Dieser Ansatz reduzierte die Notwendigkeit manueller Kernel-Abstimmung, die traditionell ein zeitaufwändiger Prozess war. Die Plattform unterstützte eine breite Palette von Hardware, darunter Intel-CPUs, AMD-GPUs und Prozessoren auf Basis von Arm Holdings sowie spezialisierte Beschleuniger wie AWS Trainium und Google Cloud-TPUs.
Die Tools des Unternehmens waren besonders relevant für die Bereitstellung von großen Sprachmodellen, wo Inferenzlatenz und -kosten kritisch sind. Durch die Optimierung von Modellen für spezifische Hardware half OctoAI Organisationen, Betriebskosten zu senken und die Benutzererfahrung zu verbessern. Die Plattform integrierte sich auch in beliebte Deep-Learning-Frameworks und machte sie für Datenwissenschaftler und Ingenieure zugänglich.
Anerkennung und Vermächtnis
Luis Ceze erhielt mehrere Auszeichnungen für seine Beiträge zur Informatik, darunter den NSF Career Award (2009), ein Sloan Research Fellowship (2010), den IEEE TCCA Young Computer Architect Award (2013), den Maurice Wilkes Award (2020) und die Wahl zum ACM Fellow (2022). Diese Ehrungen spiegelten seine Arbeit an Computerarchitektur und Systemen des maschinellen Lernens wider. Das Vermächtnis von OctoML setzt sich durch Nvidia fort, das seine Technologie nun in Produkte wie Nvidia Triton Inference Server und TensorRT integriert. Die Reise des Unternehmens von einem universitären Spin-off zu einer wichtigen Übernahme unterstreicht die wachsende Bedeutung der Software-Optimierung im Ökosystem der künstlichen Intelligenz.