Zilliz Cloud ist ein vollständig verwalteter Datenbankdienst, der Milvus, eine Open-Source-Vektordatenbank, als Cloud-Angebot bereitstellt. Er wurde entwickelt, um Anwendungen zu unterstützen, die auf künstlicher Intelligenz und maschinellem Lernen basieren, insbesondere solche, die große Sprachmodelle und generative KI betreffen. Der Dienst übernimmt die operative Komplexität des Betriebs einer Vektordatenbank, einschließlich Infrastrukturbereitstellung, Skalierung und Wartung, sodass sich Entwickler auf die Entwicklung von Ähnlichkeitssuche- und Abruffunktionen konzentrieren können.
Die Plattform wird von Zilliz entwickelt, dem Unternehmen, das das Milvus-Projekt gegründet hat und pflegt. Zilliz Cloud zielt auf Anwendungsfälle wie semantische Suche, Empfehlungssysteme und Pipelines zur retrieval-gestützten Generierung (RAG) ab, bei denen eine effiziente Speicherung und Abfrage hochdimensionaler Vektor-Embeddings entscheidend ist. Es bietet eine serverlose sowie eine dedizierte Cluster-Option und ist auf wichtigen öffentlichen Cloud-Plattformen verfügbar.
Architektur und Kernfunktionen
Zilliz Cloud basiert auf Milvus, das eine verteilte Architektur verwendet, die Speicherung und Rechenleistung trennt. Zu den Kernkomponenten gehören ein Koordinierungsdienst für die Metadatenverwaltung, Datenknoten für die Persistierung von Daten, Abfrageknoten für die Bearbeitung von Suchanfragen und eine Objektspeicherschicht für die Dauerhaftigkeit. Dieses Design ermöglicht eine horizontale Skalierung sowohl der Datenerfassung als auch des Abfragedurchsatzes.
Zu den wichtigsten Funktionen des Dienstes gehört die Unterstützung mehrerer Indizierungsalgorithmen wie HNSW und IVF, die approximative Suchen nach nächsten Nachbarn (ANN) beschleunigen. Es bietet auch native Unterstützung für Filterung auf Skalarfeldern neben der Vektorähnlichkeit, was Hybridabfragen ermöglicht. Der Dienst umfasst ein integriertes Dashboard zur Überwachung der Cluster-Gesundheit, Leistungsmetriken und Abfragelatenz sowie Werkzeuge für Datenimport und -export.
Bereitstellungsoptionen und Integrationen
Zilliz Cloud ist auf Amazon Web Services, Google Cloud und Azure verfügbar und kann in mehreren Regionen bereitgestellt werden. Benutzer können zwischen einer serverlosen Stufe, die bei Inaktivität auf null skaliert und auf Basis der tatsächlichen Nutzung abrechnet, und einer dedizierten Stufe wählen, die reservierte Rechenressourcen für vorhersehbare Leistung bereitstellt. Der Dienst unterstützt sowohl CPU- als auch GPU-basierte Cluster, wobei GPU-Optionen für Workloads mit hohem Durchsatz gedacht sind.
Die Plattform integriert sich in gängige KI- und Datentools. Sie bietet SDKs in Python, Java, Go und Node.js sowie eine RESTful-API. Außerdem gibt es Konnektoren für Frameworks wie LangChain und LlamaIndex, die häufig zum Erstellen von Transformer-basierten Anwendungen verwendet werden. Diese Integration vereinfacht die Erstellung von RAG-Systemen, die neuronale Netzwerk-Embeddings mit einem Vektorspeicher kombinieren.
Leistung und Skalierbarkeit
Zilliz Cloud ist auf hohe Leistung bei Vektorsuchaufgaben ausgelegt. Es kann Milliarden von Vektoren verarbeiten und unterstützt Abfragelatenzen im niedrigen Millisekundenbereich für approximative Suchen. Der Dienst verwaltet automatisch Daten-Sharding und -Replikation und kann durch Hinzufügen weiterer Abfrageknoten skaliert werden, um erhöhte Last zu bewältigen. Er unterstützt auch Rolling-Upgrades und bietet eine Service-Level-Vereinbarung (SLA) für Verfügbarkeit.
Für die Datenerfassung unterstützt die Plattform sowohl Batch- als auch Streaming-Datenlasten mit einem Durchsatz, der auf großen Clustern Millionen von Vektoren pro Sekunde erreichen kann. Sie umfasst Funktionen wie dynamisches Schema, das das Hinzufügen neuer Felder ohne Ausfallzeiten ermöglicht, und Time Travel, das Abfragen von Daten zu einem bestimmten Zeitpunkt erlaubt. Diese Fähigkeiten machen sie für Produktionsworkloads geeignet, die kontinuierliche Updates und hohe Parallelität erfordern.
Anwendungsfälle und Ökosystem
Zilliz Cloud wird branchenübergreifend für verschiedene KI-gesteuerte Anwendungen eingesetzt. Im E-Commerce unterstützt es visuelle und textbasierte Produktsuche. Im Gesundheitswesen hilft es bei der Analyse medizinischer Bilder und Patientenakten. Im Finanzdienstleistungssektor unterstützt es Betrugserkennung und Risikoanalyse durch den Abgleich von Transaktionsmustern. Der Dienst wird auch in Empfehlungssystemen und zur Deduplizierung großer Datensätze verwendet.
Das Unternehmen hinter dem Dienst, Zilliz, wurde 2017 von Charles Xie und anderen gegründet. Es hat Finanzmittel von Investoren wie Sequoia Capital China und Yunqi Capital erhalten. Das Open-Source-Projekt Milvus hat erhebliche Verbreitung gefunden, und Zilliz Cloud dient als kommerzielles, verwaltetes Angebot für Organisationen, die ihre eigene Infrastruktur nicht betreiben möchten.
Sicherheit und Verwaltung
Zilliz Cloud bietet Sicherheitsfunktionen auf Unternehmensniveau, einschließlich Verschlüsselung im Ruhezustand und während der Übertragung, rollenbasierter Zugriffskontrolle (RBAC) und Integration mit Identitätsanbietern über SAML und OIDC für Single Sign-on. Der Dienst bietet Optionen für private Netzwerke wie AWS PrivateLink und Azure Private Link, um den Datenverkehr innerhalb des virtuellen privaten Clouds eines Kunden zu halten.
Die Betriebsverwaltung erfolgt über eine Weboberfläche und eine API. Benutzer können Cluster erstellen und löschen, Ressourcen skalieren und Warnungen konfigurieren. Der Dienst umfasst auch automatisierte Backups und Point-in-Time-Wiederherstellung. Zilliz bietet Dokumentation, Tutorials und ein Community-Forum sowie Support-Pläne für Unternehmenskunden.
Vergleich mit Alternativen
Zilliz Cloud konkurriert mit anderen verwalteten Vektordatenbankdiensten wie Pinecone und Weaviate Cloud. Sein Unterscheidungsmerkmal ist das zugrunde liegende Open-Source-Projekt Milvus, das eine breite Funktionspalette und eine große Community bietet. Im Vergleich zur Verwendung einer traditionellen Datenbank mit einer Vektorerweiterung bietet Zilliz Cloud spezialisierte Indizierung und Abfrageoptimierung. Es bietet auch eine kostengünstigere Option für Startups durch seine serverlose Stufe, während es gleichzeitig skaliert, um Unternehmensanforderungen zu erfüllen.
Zukunftsaussichten
Die Entwicklung von Zilliz Cloud ist eng mit der Weiterentwicklung von Milvus verbunden, das weiterhin Funktionen wie Unterstützung für neue Indextypen und verbesserte GPU-Beschleunigung hinzufügt. Mit dem Wachstum von Deep Learning und großen Sprachmodellen wird erwartet, dass die Nachfrage nach effizienter Vektorsuche zunimmt. Zilliz möchte den Dienst an neue KI-Workloads anpassen, einschließlich solcher mit multimodalen Daten und Echtzeit-Inferenz.
Infobox
- Gründung: 2017
- Gründer: Charles Xie, Ken Li, Xiaofan Luan
- Hauptsitz: San Francisco, Kalifornien, Vereinigte Staaten
- Schwerpunkt: Verwaltete Vektordatenbank für KI-Anwendungen
- Wichtigste Produkte: Zilliz Cloud (Serverless und Dedicated), Milvus (Open-Source)
Kategorien
- vector-database
- managed-service
- artificial-intelligence
- cloud-computing