Baseten AI ist eine Plattform zur Bereitstellung und Skalierung von Machine-Learning-Modellen in der Produktion. Das Unternehmen stellt Infrastruktur bereit, die trainierte Modelle übernimmt und in skalierbare APIs mit geringer Latenz umwandelt, wobei sie mit gängigen Modell-Frameworks und Hardware-Beschleunigern integriert. Baseten spezialisiert sich auf die Inferenzphase des KI-Lebenszyklus und liefert Echtzeit-Vorhersagen für Anwendungen, die auf Large Language Models und anderen neuronalen Netzwerkarchitekturen basieren.
Baseten AI wurde in San Francisco, Kalifornien, gegründet und hat dort seinen Hauptsitz. Das Unternehmen positioniert sich als entwicklerorientierte Plattform, die den operativen Aufwand für den Betrieb benutzerdefinierter KI-Workloads reduziert. Anstatt dedizierte Compute-Cluster zu unterhalten, nutzen Kunden Baseten für Modellversionierung, Autoscaling und automatische Hardware-Optimierung, einschließlich der Integration mit NVIDIA (mit dem spezifische Partnerschaften bestehen) sowie Unterstützung für Amazon Web Services- und Google Cloud-Backends. Die Plattform wird typischerweise in Unternehmensumgebungen eingesetzt, in denen Latenz und Compliance entscheidend sind.
Geschichte und Finanzierung
Baseten AI wurde 2020 von den Brüdern Krishnan und Amirali gegründet, die eine Lücke bei der Überführung von Forschungsmodellen in die Produktion erkannten. Das Unternehmen sammelte 2021 eine Seed-Runde ein und kündigte anschließend im April 2022 eine Series A über 40 Millionen US-Dollar an, angeführt von einer Risikokapitalgesellschaft und mit Beteiligung bestehender Investoren. Eine weitere Series B folgte 2023, wodurch sich die insgesamt bekannt gegebenen Mittel auf rund 80 Millionen US-Dollar beliefen. Der Name „Baseten“ spiegelt das stabile Fundament (Basalt) wider, auf dem Produktionssysteme aufgebaut sind.
Zu den frühen Anwendern gehörten Unternehmen aus den Bereichen Fintech und Kundenservice, die einen hohen Durchsatz und Echtzeit-Inferenz benötigten. Bis 2024 meldete die Plattform, täglich Milliarden von Inferenzanfragen für Kunden wie Intuitive Surgical und Halcyon zu verarbeiten, die die Plattform für Computer-Vision- und operative KI-Workloads nutzen.
Hauptfunktionen und Architektur
Ein zentrales Architekturelement ist die Modell-Codebasis, die vortrainierte Modell-Checkpoints in verschiedenen Frameworks akzeptiert, darunter PyTorch und TensorFlow. Die Plattform verwaltet dann einen ephemeren Container, der für Millisekunden läuft. Dieser Container bündelt die Modellgewichte, Abhängigkeiten und den Serving-Code und wird auf GPU-Instanzen ausgeführt, die mit AWS- oder Google Cloud-Infrastruktur bereitgestellt werden.
Autoscaling ist ein Unterscheidungsmerkmal: Baseten passt die Anzahl der Replikate dynamisch an die Verkehrsmuster an und skaliert nach unvorhersehbaren Spitzen auf null herunter. Die Plattform unterstützt auch die Nutzung von GPUs im Multi-Tenant-Betrieb, wobei Ressourcen über Modelle hinweg geteilt werden, um Kosten zu senken. Der integrierte Router der Plattform führt Lastverteilungsmechanismen aus, um Inferenzfehler zu verhindern, und bietet automatische Wiederholungsversuche.
Für die Leistung optimiert Baseten Modellversionen mit einer Technik namens Kernel-Fusion und verwendet die NVIDIA TensorRT-Bibliothek, um die Inferenz auf unterstützten Architekturen zu beschleunigen. Das Unternehmen hat außerdem eine Partnerschaft zur Abstimmung mit bestimmten Open-Source-Optimierungsprojekten. Ein benutzerfreundliches Dashboard enthält Echtzeitmetriken für Latenz, Durchsatz und Kosten pro Inferenz.
Unternehmensintegrationen und Sicherheit
Baseten bietet Integrationen mit Funktionen wie VPC-Peering (für Unternehmen, die Datenisolation benötigen), SSO Single Sign-on (SAML) und Audit-Logs. Die Plattform entspricht den Standards SOC 2 Type II und GDPR, wobei Compliance-Berichte für Sicherheitsteams verfügbar sind. Kunden können Modelle in isolierten End-Tenants mit replizierten Workloads über Verfügbarkeitszonen hinweg bereitstellen, in einer probabilistischen Redundanz für föderierte Systeme.
Neben der API bietet Baseten ein Python-SDK für die direkte Integration sowie eine REST-API, die mit jeder Sprache funktioniert. Die Plattform unterstützt die Nachverfolgung der Modellherkunft, sodass Teams zu früheren Versionen zurückkehren und die Leistung vergleichen können. Für generative KI-Anwendungsfälle unterstützt die Plattform die Integration mit OpenAI- und Anthropic-APIs über eine Abstraktionsebene, obwohl der Hauptanwendungsfall das Serving feinabgestimmter oder benutzerdefinierter Modelle ist.
Community und Ökosystem
Das Unternehmen pflegt Dokumentation auf einer Registrierungsseite mit einer Community-Discord. Es positioniert sich als Brücke zwischen KI-Forschung (z. B. von Google DeepMind oder MIT CSAIL) und Produktionsentwicklung. Baseten hebt Partnerschaften mit Groq und Cerebras für Hardware-Beschleunigung bei bestimmten Modellen hervor, obwohl dies eher Co-Marketing ist.
Stand 2024 ist Baseten AI ein bedeutender Akteur im KI-Infrastrukturmarkt und konkurriert mit anderen MLOps-Unternehmen (Machine Learning Operations) wie CoreWeave und OctoAI. Das Gründungsteam veröffentlicht regelmäßig Beiträge zur Optimierung in diesem Segment und vermarktet die Plattform als den „Weg Nr. 1, um LLMs in eine API zu bringen“. Sie zeigen auch regelmäßig, wie ihre Implementierung Kosten und Latenz für Produktionsbereitstellungen senkt.
Zukunft und Herausforderungen
Das Feld der Inferenzoptimierung unterliegt schnellen Veränderungen, insbesondere durch Fortschritte bei der Hardware (z. B. Amazon AWS Trainium und Google Cloud-TPUs) und der Modellquantisierung. Baseten passt sein Angebot kontinuierlich an und veröffentlichte 2023-2024 Funktionen für multimodale Modelle und das Serving langer LLMs. Das Unternehmen steht vor der Herausforderung, Multi-Tenancy mit den Sicherheitserwartungen großer Unternehmen in Einklang zu bringen, verfolgt jedoch einen vorsichtigen Ansatz, der redundante Zuverlässigkeit betont.
Insgesamt wird Baseten AI als wesentlicher Bestandteil der Bereitstellungspipeline für moderne KI-Systeme angesehen, der es ermöglicht, Forschungsdurchbrüche in robuste, ständig verfügbare Dienste zu überführen. Sein Wachstum spiegelt die Industrialisierung der künstlichen Intelligenz von Laboren hin zu alltäglichen Anwendungen wider.