Zilliz Cloud est un service de base de données entièrement géré qui propose Milvus, une base de données vectorielle open-source, sous forme d'offre cloud. Il est conçu pour prendre en charge les applications construites sur intelligence artificielle et apprentissage automatique, en particulier celles impliquant des grands modèles de langage et de l'IA générative. Le service gère la complexité opérationnelle liée à l'exécution d'une base de données vectorielle, y compris le provisionnement de l'infrastructure, la mise à l'échelle et la maintenance, permettant aux développeurs de se concentrer sur la création de fonctionnalités de recherche de similarité et de récupération.
La plateforme est développée par Zilliz, la société qui a créé et maintient le projet Milvus. Zilliz Cloud cible des cas d'utilisation tels que la recherche sémantique, les systèmes de recommandation et les pipelines de génération augmentée par récupération (RAG), où le stockage et l'interrogation efficaces d'embeddings vectoriels de haute dimension sont essentiels. Il propose une option de cluster serverless et dédié, avec une disponibilité sur les principales plateformes de cloud public.
Architecture et fonctionnalités principales
Zilliz Cloud est basé sur Milvus, qui utilise une architecture distribuée séparant le stockage et le calcul. Les composants principaux incluent un service de coordination pour la gestion des métadonnées, des nœuds de données pour la persistance des données, des nœuds de requête pour traiter les demandes de recherche, et une couche de stockage d'objets pour la durabilité. Cette conception permet une mise à l'échelle horizontale de l'ingestion de données et du débit de requêtes.
Les fonctionnalités clés du service incluent la prise en charge de plusieurs algorithmes d'indexation, tels que HNSW et IVF, qui accélèrent les recherches approximatives du plus proche voisin (ANN). Il offre également une prise en charge native du filtrage sur les champs scalaires en plus de la similarité vectorielle, permettant des requêtes hybrides. Le service comprend un tableau de bord intégré pour surveiller la santé du cluster, les métriques de performance et la latence des requêtes, ainsi que des outils d'importation et d'exportation de données.
Options de déploiement et intégrations
Zilliz Cloud est disponible sur Amazon Web Services, Google Cloud et Azure, avec la possibilité de déployer dans plusieurs régions. Les utilisateurs peuvent choisir entre un niveau serverless, qui se réduit à zéro lorsqu'il est inactif et facture en fonction de l'utilisation réelle, et un niveau dédié, qui fournit des ressources de calcul réservées pour des performances prévisibles. Le service prend en charge les clusters basés sur CPU et GPU, avec des options GPU destinées aux charges de travail à haut débit.
La plateforme s'intègre avec des outils d'IA et de données populaires. Elle propose des SDK en Python, Java, Go et Node.js, et fournit une API RESTful. Elle dispose également de connecteurs pour des frameworks comme LangChain et LlamaIndex, couramment utilisés pour construire des applications basées sur transformers. Cette intégration simplifie la création de systèmes RAG qui combinent des embeddings de réseaux de neurones avec un magasin vectoriel.
Performance et évolutivité
Zilliz Cloud est conçu pour des performances élevées dans les tâches de recherche vectorielle. Il peut gérer des milliards de vecteurs et prend en charge des latences de requête de l'ordre de quelques millisecondes pour les recherches approximatives. Le service gère automatiquement le partitionnement et la réplication des données, et peut s'étendre en ajoutant plus de nœuds de requête pour gérer une charge accrue. Il prend également en charge les mises à niveau progressives et fournit un accord de niveau de service (SLA) pour la disponibilité.
Pour l'ingestion, la plateforme prend en charge les chargements de données par lots et en streaming, avec un débit pouvant atteindre des millions de vecteurs par seconde sur de grands clusters. Elle inclut des fonctionnalités comme le schéma dynamique, qui permet d'ajouter de nouveaux champs sans temps d'arrêt, et le voyage dans le temps, qui permet d'interroger les données à un moment précis. Ces capacités la rendent adaptée aux charges de travail de production nécessitant des mises à jour continues et une forte concurrence.
Cas d'utilisation et écosystème
Zilliz Cloud est utilisé dans diverses industries pour des applications pilotées par l'IA. Dans le commerce électronique, il alimente la recherche de produits visuels et textuels. Dans le secteur de la santé, il aide à analyser les images médicales et les dossiers des patients. Dans les services financiers, il soutient la détection de fraude et l'analyse des risques en faisant correspondre les modèles de transactions. Le service est également utilisé dans les systèmes de recommandation et pour la déduplication de grands ensembles de données.
La société derrière le service, Zilliz, a été fondée en 2017 par Charles Xie et d'autres. Elle a reçu des financements d'investisseurs, notamment Sequoia Capital China et Yunqi Capital. Le projet open-source Milvus a connu une adoption significative, et Zilliz Cloud sert d'offre commerciale et gérée pour les organisations qui préfèrent ne pas exploiter leur propre infrastructure.
Sécurité et gestion
Zilliz Cloud fournit des fonctionnalités de sécurité de niveau entreprise, notamment le chiffrement au repos et en transit, le contrôle d'accès basé sur les rôles (RBAC) et l'intégration avec des fournisseurs d'identité via SAML et OIDC pour l'authentification unique. Le service offre des options de réseau privé, telles que AWS PrivateLink et Azure Private Link, pour maintenir le trafic dans le cloud privé virtuel d'un client.
La gestion opérationnelle est effectuée via une console Web et une API. Les utilisateurs peuvent créer et supprimer des clusters, mettre à l'échelle les ressources et configurer des alertes. Le service inclut également des sauvegardes automatisées et une récupération à un moment précis. Zilliz fournit de la documentation, des tutoriels et un forum communautaire, ainsi que des plans de support pour les clients d'entreprise.
Comparaison avec les alternatives
Zilliz Cloud concurrence d'autres services de bases de données vectorielles gérés, tels que Pinecone et Weaviate Cloud. Son différenciateur est le projet open-source sous-jacent Milvus, qui offre un large éventail de fonctionnalités et une grande communauté. Par rapport à l'utilisation d'une base de données traditionnelle avec une extension vectorielle, Zilliz Cloud fournit une indexation et une optimisation de requêtes spécialisées. Il offre également une option plus rentable pour les startups grâce à son niveau serverless, tout en s'étendant pour répondre aux demandes des entreprises.
Orientations futures
Le développement de Zilliz Cloud est étroitement lié à l'évolution de Milvus, qui continue d'ajouter des fonctionnalités telles que la prise en charge de nouveaux types d'index et une meilleure accélération GPU. Avec la croissance du apprentissage profond et des grands modèles de langage, la demande pour une recherche vectorielle efficace devrait augmenter. Zilliz vise à maintenir le service aligné sur les charges de travail d'IA émergentes, y compris celles impliquant des données multimodales et l'inférence en temps réel.
Infobox
- Fondation : 2017
- Fondateurs : Charles Xie, Ken Li, Xiaofan Luan
- Siège social : San Francisco, Californie, États-Unis
- Focus : Base de données vectorielle gérée pour les applications d'IA
- Produits clés : Zilliz Cloud (Serverless et Dédié), Milvus (open-source)
Catégories
- vector-database
- managed-service
- artificial-intelligence
- cloud-computing