Baseten AI est une plateforme de déploiement et de mise à l'échelle de modèles de Machine learning en production. L'entreprise fournit une infrastructure qui prend des modèles entraînés et les convertit en API évolutives à faible latence, s'intégrant aux principaux frameworks de modèles et accélérateurs matériels. Baseten se spécialise dans la phase d'inférence du cycle de vie de l'IA, servant des prédictions en temps réel pour des applications construites sur des grands modèles de langage et d'autres architectures de réseaux neuronaux.
Fondée et dont le siège est à San Francisco, en Californie, Baseten AI se positionne comme une plateforme axée sur les développeurs qui réduit la charge opérationnelle liée à l'exécution de charges de travail d'IA personnalisées. Au lieu de maintenir des clusters de calcul dédiés, les clients utilisent Baseten pour gérer le versionnement des modèles, l'auto-évolutivité et l'optimisation matérielle automatique, y compris l'intégration avec NVIDIA (avec laquelle elle a des partenariats spécifiques) et la prise en charge des backends Amazon Web Services et Google Cloud. La plateforme est généralement déployée dans des environnements d'entreprise où la latence et la conformité sont critiques.
Historique et financement
Baseten AI a été fondée en 2020 par les frères Krishnan et Amirali, qui ont identifié une lacune dans le passage des modèles de recherche à la production. L'entreprise a levé un tour de table d'amorçage en 2021, puis a annoncé une série A de 40 millions de dollars en avril 2022, menée par une société de capital-risque et avec la participation d'investisseurs existants. Une série B a suivi en 2023, portant le financement total divulgué à environ 80 millions de dollars. Le nom « Baseten » fait écho à la fondation stable (basalte) sur laquelle les systèmes de production sont construits.
Les premiers adoptants comprenaient des entreprises de fintech et de service client qui nécessitaient une inférence en temps réel à haut débit. D'ici 2024, la plateforme a déclaré traiter des milliards de requêtes d'inférence par jour pour des clients tels que Intuitive Surgical et Halcyon AI, qui utilisent la plateforme pour la vision par ordinateur et les charges de travail d'IA opérationnelles.
Caractéristiques clés et architecture
Un élément architectural central est sa base de code de modèles qui accepte des points de contrôle de modèles pré-entraînés dans une variété de frameworks, y compris PyTorch et TensorFlow. La plateforme gère ensuite un conteneur éphémère (43) qui s'exécute en quelques millisecondes. Ce conteneur regroupe les poids du modèle, les dépendances et le code de service, et est exécuté sur des instances GPU provisionnées avec l'infrastructure AWS ou Google Cloud.
L'auto-évolutivité est un différenciateur : Baseten ajuste dynamiquement le nombre de répliques en fonction des modèles de trafic, réduisant à zéro après des pics imprévisibles. Elle prend également en charge l'utilisation multi-tenant des GPU, partageant entre les modèles pour réduire les coûts. Le routeur intégré de la plateforme exécute des mécanismes d'équilibrage de charge pour prévenir les erreurs d'inférence et fournit des nouvelles tentatives automatiques.
Pour les performances, Baseten optimise les versions de modèles avec une technique appelée fusion de noyaux et utilise la bibliothèque NVIDIA TensorRT pour accélérer l'inférence sur les architectures prises en charge. L'entreprise a également un partenariat pour s'aligner sur certains projets d'optimisation open source. Un tableau de bord convivial comprend des métriques en temps réel pour la latence, le débit et le coût par inférence.
Intégrations d'entreprise et sécurité
Baseten offre une intégration avec des fonctionnalités telles que le peering VPC (pour les entreprises qui nécessitent une isolation des données), l'authentification unique SSO (SAML) et des journaux d'audit. La plateforme adhère aux normes SOC 2 Type II et GDPR, avec des rapports de conformité disponibles pour les équipes de sécurité. Les clients peuvent déployer des modèles dans un environnement isolé avec des charges de travail répliquées sur plusieurs zones de disponibilité, dans une redondance probabiliste pour la fédération.
Outre l'API, Baseten fournit un SDK Python pour une intégration directe et une API REST qui fonctionne avec n'importe quel langage. Elle prend en charge le suivi de la lignée des modèles, permettant aux équipes de revenir à des versions antérieures et de comparer les performances. Pour les cas d'utilisation de l'IA générative, la plateforme prend en charge l'intégration avec les API OpenAI et Anthropic via une couche d'abstraction, bien que son cas d'utilisation principal soit le service de modèles personnalisés ou affinés.
Communauté et écosystème
L'entreprise maintient une documentation sur un site d'inscription avec un Discord communautaire. Elle est positionnée comme un pont entre la recherche en IA (par exemple, de Google DeepMind ou MIT CSAIL) et l'ingénierie de production. Baseten met en avant des partenariats avec Groq et Cerebras pour l'accélération matérielle sur certains modèles, bien que cela relève davantage du co-marketing.
En 2024, Baseten AI est un acteur notable du marché de l'infrastructure IA, en concurrence avec d'autres entreprises MLOps (Machine Learning Operations) telles que CoreWeave et OctoAI. Son équipe fondatrice publie fréquemment des leaders en optimisation et dans ce segment, présentant la plateforme comme le « moyen n°1 de mettre des LLM dans une API ». Ils montrent également régulièrement comment leur implémentation réduit les coûts et la latence pour les déploiements en production.
Avenir et défis
Le domaine de l'optimisation de l'inférence est sujet à des changements rapides, en particulier avec les avancées matérielles (par exemple, amazon AWS Trainium et les TPU Google Cloud) et la quantification des modèles. Baseten adapte continuellement ses offres, publiant des fonctionnalités pour les modèles multimodaux et le service de LLM longs en 2023-2024. L'entreprise est confrontée au défi d'équilibrer la multi-tenance avec les attentes de sécurité des grandes entreprises, mais elle adopte une approche prudente qui met l'accent sur la fiabilité redondante.
Dans l'ensemble, Baseten AI est considérée comme une pièce essentielle du pipeline de déploiement des systèmes d'IA modernes, permettant aux percées de la recherche de passer à des services robustes et toujours disponibles. Sa croissance reflète l'industrialisation de l'intelligence artificielle des laboratoires vers les applications quotidiennes.