Baseten Labs est une entreprise d'infrastructure d'IA qui fournit une plateforme pour déployer, mettre à l'échelle et servir des modèles d'apprentissage automatique en production. Fondée en 2019, l'entreprise se concentre sur l'aide aux organisations pour passer de l'IA expérimentale à une inférence fiable et haute performance à grande échelle. La plateforme de Baseten est conçue pour gérer les demandes computationnelles des modèles modernes de apprentissage automatique, en particulier les grands modèles de langage et autres systèmes de IA générative.
L'entreprise se positionne comme un pont entre le développement de modèles et le déploiement en production, offrant des outils qui simplifient l'infrastructure complexe requise pour l'inférence d'IA. En abstraisant le matériel sous-jacent et l'orchestration, Baseten permet aux équipes de science des données et d'ingénierie de se concentrer sur la construction et l'amélioration de leurs modèles plutôt que sur la gestion des serveurs et de la logique de mise à l'échelle. Cette approche en a fait un acteur notable dans le domaine en pleine croissance de l'infrastructure d'IA, en concurrence avec les offres des grands fournisseurs de cloud et des startups spécialisées.
Plateforme et architecture
L'offre principale de Baseten est une plateforme de service de modèles qui prend en charge divers frameworks d'apprentissage automatique et architectures de modèles. La plateforme est construite sur Amazon Web Services et utilise une orchestration de type Kubernetes pour gérer dynamiquement les ressources de calcul. Elle prend en charge des frameworks populaires tels que PyTorch, TensorFlow et ONNX, permettant aux utilisateurs de déployer des modèles avec des modifications minimales de leur code existant.
La plateforme est conçue pour une inférence à faible latence, une exigence critique pour les applications en temps réel comme les chatbots, les moteurs de recommandation et les systèmes autonomes. Elle y parvient grâce à des fonctionnalités telles que la mise à l'échelle automatique, l'optimisation des GPU et le routage intelligent des requêtes. Baseten propose également une option d'inférence sans serveur, qui se réduit à zéro lorsqu'elle n'est pas utilisée, réduisant ainsi les coûts pour les charges de travail avec des modèles de trafic variables.
Un composant architectural clé est son support des modèles basés sur transformers, qui sous-tendent la plupart des grands modèles de langage modernes. La plateforme inclut des optimisations pour l'inférence des transformers, telles que des mécanismes d'attention efficaces et des stratégies de regroupement par lots, afin de maximiser le débit et de minimiser la latence. Cela la rend particulièrement adaptée au déploiement de modèles comme GPT, BERT et leurs dérivés.
Performance et optimisation
Baseten met l'accent sur l'optimisation des performances comme proposition de valeur centrale. La plateforme offre des outils pour la quantification des modèles, qui réduit l'empreinte mémoire et accélère l'inférence en utilisant une arithmétique à précision inférieure. Elle prend également en charge le élagage de modèles et d'autres techniques de compression pour améliorer encore l'efficacité sans perte significative de précision.
L'entreprise a publié des benchmarks montrant des améliorations de performance significatives par rapport aux méthodes de déploiement standard. Par exemple, Baseten prétend atteindre jusqu'à 10 fois moins de latence et 5 fois plus de débit par rapport aux implémentations naïves sur du matériel similaire. Ces optimisations sont particulièrement importantes pour les applications sensibles aux coûts, car elles réduisent directement le nombre de GPU nécessaires pour servir une charge de trafic donnée.
Baseten fournit également un SDK Python et une API REST, ce qui facilite l'intégration avec les flux de travail existants. La plateforme inclut des fonctionnalités de surveillance et d'observabilité, permettant aux utilisateurs de suivre la latence d'inférence, les taux d'erreur et l'utilisation des ressources en temps réel. Ces données aident les équipes à identifier les goulots d'étranglement et à optimiser continuellement leurs modèles et leur infrastructure.
Cas d'utilisation et clients
Baseten sert une gamme diversifiée de clients dans divers secteurs, notamment la finance, la santé, le commerce électronique et les médias. Les cas d'utilisation courants incluent l'alimentation de la recherche alimentée par l'IA, la génération de contenu, la détection de fraude et les recommandations personnalisées. La plateforme est particulièrement populaire parmi les startups et les entreprises de taille moyenne qui ont besoin de faire évoluer rapidement les capacités d'IA sans construire une infrastructure interne étendue.
Un cas d'utilisation notable est le déploiement d'applications de IA générative, telles que les chatbots et les outils de résumé de texte. La capacité de Baseten à gérer les demandes computationnelles élevées des grands modèles de langage en fait un choix naturel pour ces applications. L'entreprise a également établi des partenariats avec divers fournisseurs de modèles et communautés open-source pour offrir des modèles pré-entraînés qui peuvent être déployés en quelques clics.
Bien que Baseten ne divulgue pas publiquement sa liste complète de clients, elle a mis en avant des collaborations avec des entreprises des secteurs de l'IA et de la technologie. La flexibilité de la plateforme lui permet de prendre en charge à la fois le traitement par lots et l'inférence en temps réel, répondant à une large gamme d'exigences applicatives.
Paysage concurrentiel
Le marché de l'inférence d'IA est hautement concurrentiel, avec les grands fournisseurs de cloud comme AWS, Microsoft Azure et Google Cloud offrant leurs propres solutions de service de modèles. Ces plateformes bénéficient d'une intégration profonde avec leurs écosystèmes cloud respectifs et de relations étendues avec les entreprises. Cependant, Baseten se différencie par son accent sur l'optimisation des performances et la facilité d'utilisation, offrant souvent une latence et une efficacité de coût supérieures pour les charges de travail basées sur GPU.
Des startups spécialisées comme Groq et SambaNova Systems concurrencent également dans cet espace, mais elles se concentrent généralement sur du matériel et des puces personnalisés. Baseten, en revanche, est indépendant du matériel et fonctionne sur des GPU cloud standard, ce qui le rend plus accessible à un plus large éventail d'utilisateurs. Cette approche lui permet de tirer parti des dernières offres de GPU de NVIDIA et AMD sans exiger que les clients investissent dans une infrastructure spécialisée.
L'entreprise fait également face à la concurrence d'outils open-source comme Ray et vLLM, qui offrent des capacités similaires mais nécessitent plus d'expertise technique pour le déploiement et la gestion. Le modèle de service géré de Baseten attire les équipes qui préfèrent une solution clé en main avec un support et une maintenance intégrés.
Financement et croissance
Baseten a attiré des investissements significatifs en capital-risque, reflétant la demande croissante pour l'infrastructure d'IA. L'entreprise a levé un tour de financement de série B de 40 millions de dollars en 2023, mené par IVP, avec la participation d'investisseurs existants, notamment Basis Set Ventures et Bloomberg Beta. Ce financement a été utilisé pour développer l'équipe d'ingénierie, améliorer les capacités de la plateforme et étendre les efforts d'acquisition de clients.
La croissance de l'entreprise a été alimentée par l'adoption rapide de l'IA générative dans tous les secteurs. Alors que de plus en plus d'organisations cherchent à déployer de grands modèles de langage en production, le besoin de plateformes d'inférence fiables et efficaces a augmenté. Baseten s'est positionnée pour capitaliser sur cette tendance, rapportant une forte croissance des revenus et élargissant sa base de clients.
À l'avenir, Baseten prévoit de continuer à investir dans l'optimisation des performances et l'expérience développeur. L'entreprise explore également le support de nouveaux accélérateurs matériels et de scénarios de déploiement en périphérie, visant à rester à la pointe de l'innovation en infrastructure d'IA. Avec l'industrie de l'IA encore à ses débuts, l'accent de Baseten sur des solutions d'inférence pratiques et évolutives la positionne bien pour une croissance continue.