Zilliz Cloud 是一项完全托管的数据库服务,提供 Milvus(一个开源向量数据库)的云上版本。它旨在支持基于人工智能和机器学习构建的应用,尤其是涉及大语言模型和生成式人工智能的应用。该服务负责处理运行向量数据库的运维复杂性,包括基础设施配置、扩展和维护,使开发人员能够专注于构建相似性搜索和检索功能。
该平台由 Zilliz 公司开发,该公司是 Milvus 项目的创建者和维护者。Zilliz Cloud 面向语义搜索、推荐系统和检索增强生成(RAG)管道等用例,这些场景中对高维向量嵌入的高效存储和查询至关重要。它提供无服务器和专用集群两种选项,并可在主要云平台上使用。
架构与核心功能
Zilliz Cloud 基于 Milvus 构建,采用存算分离的分布式架构。其核心组件包括用于元数据管理的协调服务、用于持久化数据的存储节点、用于处理搜索请求的查询节点,以及用于持久化存储的对象存储层。这种设计使得数据摄入和查询吞吐量都能实现水平扩展。
该服务的关键功能包括支持多种索引类型,例如 HNSW 和 IVF,这些索引可加速近似最近邻(ANN)搜索。它还原生支持在向量相似性搜索的同时对标量字段进行过滤,从而实现混合查询。服务内置了仪表板,用于监控集群健康状态、性能指标和查询延迟,并提供数据导入和导出工具。
部署选项与集成
Zilliz Cloud 可在亚马逊云服务、谷歌云和微软 Azure 上使用,并支持在多个区域进行部署。用户可以选择无服务器层级,该层级在空闲时自动缩容至零,并按实际使用量计费;也可以选择专用集群层级,该层级提供预留的计算资源,以保证可预测的性能。服务支持基于 CPU 和 GPU 的集群,其中 GPU 选项适用于高吞吐量的工作负载。
该平台与流行的 AI 和数据工具集成。它提供 Python、Java、Go 和 Node.js 的 SDK,并支持 RESTful API。此外,它还提供与 LangChain 和 LlamaIndex 等框架的连接器,这些框架常用于构建基于Transformer的应用。这种集成简化了结合神经网络嵌入与向量存储的 RAG 系统的创建过程。
性能与可扩展性
Zilliz Cloud 专为向量搜索任务的高性能而设计。它能够处理数十亿级别的向量,并在近似搜索中支持毫秒级的查询延迟。该服务自动管理数据分片和复制,并可通过增加查询节点来横向扩展,以应对更高的负载。它还支持滚动升级,并为可用性提供服务等级协议(SLA)。
在数据摄入方面,该平台支持批量和流式数据加载,在大型集群上吞吐量可达每秒数百万向量。其功能包括动态模式,允许在不中断服务的情况下添加新字段,以及时间旅行,支持查询特定时间点的数据。这些能力使其适用于需要持续更新和高并发处理的生产环境。
用例与生态系统
Zilliz Cloud 在各行业中被用于各种 AI 驱动的应用。在电子商务中,它支持视觉和文本产品搜索。在医疗保健领域,它辅助分析医学影像和患者记录。在金融服务中,它通过匹配交易模式来支持欺诈检测和风险分析。该服务还用于推荐系统和大型数据集的去重。
Zilliz 公司由 Charles Xie 等人于 2017 年创立,并获得了包括红杉资本中国和云启资本在内的投资。开源项目 Milvus 已被广泛采用,而 Zilliz Cloud 则是面向那些不希望自行管理基础设施的组织的商业托管服务。
安全与管理
Zilliz Cloud 提供企业级安全功能,包括静态和传输中的数据加密、基于角色的访问控制(RBAC),以及通过 SAML 和 OIDC 与身份提供商集成以实现单点登录。该服务还提供私有网络选项,例如 AWS PrivateLink 和 Azure Private Link,以确保流量在客户的虚拟私有云内传输。
运维管理通过 Web 控制台和 API 进行。用户可以创建和删除集群、扩展资源以及配置告警。该服务还包含自动化备份和按时间点恢复功能。Zilliz 提供文档、教程和社区论坛,并为企业客户提供支持计划。
与替代方案的比较
Zilliz Cloud 与 Pinecone 和 Weaviate Cloud 等其他托管向量数据库服务竞争。其差异化优势在于底层基于开源项目 Milvus,该项目提供了广泛的功能和庞大的社区。与使用带有向量扩展的传统数据库相比,Zilliz Cloud 提供了专门的索引和查询优化。同时,通过其无服务器层级,它为初创公司提供了更具成本效益的选择,同时也能满足企业的扩展需求。
未来发展方向
Zilliz Cloud 的发展与 Milvus 的演进紧密相关,Milvus 持续增加对新索引类型和 GPU 加速改进的支持。随着深度学习和大语言模型的发展,对高效向量搜索的需求预计将持续增长。Zilliz 旨在使其服务与新兴的 AI 工作负载保持一致,包括涉及多模态数据和实时推理的场景。
信息框
- 成立时间:2017 年
- 创始人:Charles Xie、Ken Li、Xiaofan Luan
- 总部:美国加利福尼亚州旧金山
- 专注领域:面向 AI 应用的托管向量数据库
- 主要产品:Zilliz Cloud(无服务器版和专用版)、Milvus(开源版)
分类
- 向量数据库
- 托管服务
- 人工智能
- 云计算