Zilliz ist ein Technologieunternehmen, das einen cloudbasierten Vektordatenbankdienst anbietet, der auf dem Open-Source-Projekt Milvus aufbaut. Das Unternehmen konzentriert sich auf die Bereitstellung verwalteter Infrastruktur für künstliche Intelligenz- und maschinelles Lernen-Workloads, insbesondere für solche, die Ähnlichkeitssuche und Abruf unstrukturierter Daten wie Bilder, Text und Audio umfassen. Die Plattform von Zilliz ist darauf ausgelegt, Anwendungen von generativer KI-Systemen bis hin zu Empfehlungsmaschinen und Anomalieerkennung zu unterstützen.
Das Unternehmen wurde 2017 von Charles Xie gegründet, der zuvor bei Oracle und Yahoo tätig war. Zilliz hat seinen Hauptsitz in San Francisco, Kalifornien, mit Forschungs- und Entwicklungsstandorten in China. Der Name „Zilliz" leitet sich vom Wort „Zillion" ab und spiegelt den Anspruch des Unternehmens wider, Datenoperationen im Milliardenmaßstab zu bewältigen.
Milvus und Vektordatenbank-Technologie
Die Kerntechnologie von Zilliz ist Milvus, eine Open-Source-Vektordatenbank, die erstmals 2019 veröffentlicht wurde. Milvus ist darauf ausgelegt, massive Vektoren zu speichern, zu indizieren und zu verwalten, die von neuralen Netzwerken-Modellen erzeugt werden, wie etwa Embeddings aus großen Sprachmodellen oder Bilderkennungssystemen. Die Datenbank unterstützt mehrere Indizierungsalgorithmen, darunter HNSW (Hierarchical Navigable Small World) und IVF (Inverted File), um eine schnelle approximative Suche nach nächsten Nachbarn zu ermöglichen.
Im Jahr 2021 spendete Zilliz Milvus an die AI & Data Foundation der Linux Foundation und etablierte es als anbieterneutrales Open-Source-Projekt. Das Unternehmen führt die Entwicklung des Projekts weiterhin an und bietet gleichzeitig einen vollständig verwalteten Cloud-Dienst namens Zilliz Cloud an, der Unternehmensfunktionen wie hohe Verfügbarkeit, Datenreplikation und Sicherheitskontrollen bereitstellt.
Zilliz Cloud Plattform
Zilliz Cloud ist ein vollständig verwalteter Vektordatenbankdienst, der auf großen Cloud-Anbietern verfügbar ist, darunter Amazon Web Services, Google Cloud und Azure. Die Plattform bietet serverlose und dedizierte Cluster-Optionen, sodass Organisationen Vektorsuch-Workloads skalieren können, ohne die zugrunde liegende Infrastruktur zu verwalten. Zu den wichtigsten Funktionen gehören Multi-Tenancy, rollenbasierte Zugriffskontrolle und Integration mit gängigen Frameworks für maschinelles Lernen.
Der Dienst unterstützt sowohl CPU- als auch GPU-beschleunigtes Rechnen, wobei GPU-Optionen AMD- und NVIDIA-Hardware für Hochdurchsatz-Ähnlichkeitssuche nutzen. Zilliz Cloud bietet APIs, die mit Milvus kompatibel sind, und ermöglicht so eine nahtlose Migration von selbst gehosteten Bereitstellungen. Ab 2024 verarbeitet die Plattform täglich Milliarden von Abfragen in verschiedenen Branchen.
Anwendungen und Anwendungsfälle
Die Technologie von Zilliz wird in einer Vielzahl von Deep-Learning-Anwendungen eingesetzt. In generativer KI dienen Vektordatenbanken als Speicherschichten für große Sprachmodelle und ermöglichen die retrieval-augmentierte Generierung (RAG), bei der Modelle auf externe Wissensdatenbanken zugreifen. Unternehmen, die Chatbots, semantische Suchmaschinen und Empfehlungssysteme entwickeln, verlassen sich auf Zilliz für eine effiziente Speicherung und den Abruf von Embeddings.
Weitere Anwendungsfälle umfassen Bild- und Videoähnlichkeitssuche, Wirkstoffforschung, Betrugserkennung und personalisierte Inhaltsbereitstellung. Die Plattform wird auch in autonomen Fahrsystemen zur Objekterkennung und in der Biotechnologie zur Analyse genomischer Sequenzen eingesetzt. Zilliz berichtet von Kunden aus Branchen wie E-Commerce, Finanzen, Gesundheitswesen und Medien.
Finanzierung und Wachstum
Zilliz hat erhebliches Risikokapital zur Unterstützung seines Wachstums eingeworben. Im Jahr 2022 schloss das Unternehmen eine Series-B-Finanzierungsrunde über 60 Millionen US-Dollar ab, die von Temasek angeführt wurde, mit Beteiligung bestehender Investoren wie Yunqi Capital und 5Y Capital. Die Mittel wurden für die Erweiterung des Cloud-Dienstes, den Ausbau des Engineering-Teams und die Weiterentwicklung der Forschung zu Vektorindizierungsalgorithmen verwendet.
Bis 2023 meldete Zilliz über 1.000 Unternehmenskunden und eine Community von mehr als 10.000 Entwicklern, die Milvus nutzen. Das Unternehmen hat Partnerschaften mit Cloud-Anbietern und KI-Infrastrukturunternehmen geschlossen, darunter CoreWeave und Cerebras, um optimierte Bereitstellungen für Hochleistungsrechenumgebungen anzubieten.
Wettbewerbslandschaft und zukünftige Richtungen
Zilliz ist auf dem sich schnell entwickelnden Markt für Vektordatenbanken tätig und konkurriert mit anderen spezialisierten Anbietern sowie allgemeinen Datenbanken, die Vektorunterstützung hinzufügen. Das Unternehmen differenziert sich durch seinen Fokus auf Open-Source-Entwicklung und Leistungsoptimierung für Datensätze im Milliardenmaßstab. Zilliz investiert weiterhin in Forschung zu approximativen Algorithmen für nächste Nachbarn und Hybridsuchfunktionen, die Vektor- und Skalarfilterung kombinieren.
Zu den zukünftigen Entwicklungsprioritäten gehören die Verbesserung der Integration mit Transformer-basierten Modellen, die Erweiterung der Unterstützung für Echtzeit-Streaming-Daten und die Ausweitung verwalteter Dienste auf weitere Cloud-Regionen. Das Unternehmen erkundet auch Partnerschaften mit OpenAI und anderen KI-Modellanbietern, um die Bereitstellung retrieval-augmentierter Anwendungen zu optimieren.
Community und Ökosystem
Zilliz pflegt eine aktive Open-Source-Community rund um Milvus mit regelmäßigen Veröffentlichungen und Beiträgen von Entwicklern weltweit. Das Projekt wurde von akademischen Einrichtungen und Forschungslabors übernommen, darunter MIT CSAIL und Berkeley AI Research, für Experimente in der groß angelegten Ähnlichkeitssuche. Zilliz organisiert auch Konferenzen und Meetups, um den Wissensaustausch im Bereich Vektordatenbanken und KI-Infrastruktur zu fördern.
Das Unternehmen bietet umfangreiche Dokumentation, SDKs in mehreren Programmiersprachen und Tutorials an, um die Einstiegshürde zu senken. Durch seine Community-Programme zielt Zilliz darauf ab, Milvus als Standard-Open-Source-Vektordatenbank zu etablieren, ähnlich wie relationale Datenbanken grundlegend für die traditionelle Datenverwaltung wurden.