Zilliz Cloud는 오픈소스 벡터 데이터베이스인 Milvus를 클라우드 서비스로 제공하는 완전 관리형 데이터베이스 서비스입니다. 이 서비스는 인공지능 및 머신러닝 기반 애플리케이션, 특히 대규모 언어 모델과 생성형 AI를 포함하는 애플리케이션을 지원하도록 설계되었습니다. 이 서비스는 인프라 프로비저닝, 확장, 유지보수를 포함한 벡터 데이터베이스 운영의 복잡성을 처리하여 개발자가 유사성 검색 및 검색 기능 구축에 집중할 수 있게 합니다.
이 플랫폼은 Milvus 프로젝트를 만들고 유지 관리하는 회사인 Zilliz가 개발했습니다. Zilliz Cloud는 고차원 벡터 임베딩의 효율적인 저장 및 쿼리가 중요한 의미론적 검색, 추천 시스템, 검색 증강 생성(RAG) 파이프라인과 같은 사용 사례를 대상으로 합니다. 서버리스 및 전용 클러스터 옵션을 제공하며 주요 공용 클라우드 플랫폼에서 사용할 수 있습니다.
아키텍처 및 핵심 기능
Zilliz Cloud는 저장과 컴퓨팅을 분리하는 분산 아키텍처를 사용하는 Milvus를 기반으로 구축되었습니다. 핵심 구성 요소에는 메타데이터 관리를 위한 코디네이터 서비스, 데이터 지속성을 위한 데이터 노드, 검색 요청 처리를 위한 쿼리 노드, 내구성을 위한 객체 저장 계층이 포함됩니다. 이 설계는 데이터 수집 및 쿼리 처리량 모두의 수평적 확장을 가능하게 합니다.
서비스의 주요 기능에는 HNSW 및 IVF와 같은 여러 인덱싱 알고리즘 지원이 포함되며, 이는 근사 최근접 이웃(ANN) 검색을 가속화합니다. 또한 벡터 유사성과 함께 스칼라 필드 필터링을 기본 지원하여 하이브리드 쿼리를 가능하게 합니다. 이 서비스에는 클러스터 상태, 성능 지표, 쿼리 지연 시간을 모니터링하기 위한 내장 대시보드와 데이터 가져오기 및 내보내기 도구가 포함됩니다.
배포 옵션 및 통합
Zilliz Cloud는 아마존 웹 서비스, 구글 클라우드, 애저에서 사용할 수 있으며 여러 리전에 배포할 수 있습니다. 사용자는 유휴 상태일 때 0으로 확장되고 실제 사용량에 따라 요금이 부과되는 서버리스 계층과 예측 가능한 성능을 위해 예약된 컴퓨팅 리소스를 제공하는 전용 계층 중에서 선택할 수 있습니다. 이 서비스는 CPU 및 GPU 기반 클러스터를 모두 지원하며 GPU 옵션은 높은 처리량 워크로드를 위해 설계되었습니다.
이 플랫폼은 인기 있는 AI 및 데이터 도구와 통합됩니다. Python, Java, Go, Node.js용 SDK를 제공하며 RESTful API도 제공합니다. 또한 트랜스포머 기반 애플리케이션 구축에 일반적으로 사용되는 LangChain 및 LlamaIndex와 같은 프레임워크용 커넥터도 있습니다. 이러한 통합은 신경망 임베딩과 벡터 저장소를 결합한 RAG 시스템 생성을 간소화합니다.
성능 및 확장성
Zilliz Cloud는 벡터 검색 작업에서 높은 성능을 발휘하도록 설계되었습니다. 수십억 개의 벡터를 처리할 수 있으며 근사 검색의 경우 쿼리 지연 시간을 낮은 밀리초 범위로 지원합니다. 이 서비스는 데이터 샤딩 및 복제를 자동으로 관리하며 증가된 부하를 처리하기 위해 쿼리 노드를 추가하여 확장할 수 있습니다. 또한 롤링 업그레이드를 지원하고 가용성에 대한 서비스 수준 계약(SLA)을 제공합니다.
수집 측면에서 플랫폼은 배치 및 스트리밍 데이터 로드를 모두 지원하며 대규모 클러스터에서 초당 수백만 개의 벡터에 도달할 수 있는 처리량을 제공합니다. 가동 중지 시간 없이 새 필드를 추가할 수 있는 동적 스키마와 특정 시점의 데이터를 쿼리할 수 있는 시간 이동과 같은 기능이 포함됩니다. 이러한 기능은 지속적인 업데이트와 높은 동시성이 필요한 프로덕션 워크로드에 적합합니다.
사용 사례 및 생태계
Zilliz Cloud는 다양한 AI 기반 애플리케이션을 위해 여러 산업에서 사용됩니다. 전자상거래에서는 시각적 및 텍스트 기반 제품 검색을 지원합니다. 의료 분야에서는 의료 이미지와 환자 기록 분석을 지원합니다. 금융 서비스에서는 거래 패턴 매칭을 통해 사기 탐지 및 위험 분석을 지원합니다. 이 서비스는 추천 시스템과 대규모 데이터 세트의 중복 제거에도 사용됩니다.
이 서비스를 제공하는 회사인 Zilliz는 2017년 Charles Xie와 다른 사람들에 의해 설립되었습니다. Sequoia Capital China 및 Yunqi Capital을 포함한 투자자로부터 자금을 지원받았습니다. 오픈소스 Milvus 프로젝트는 상당한 채택을 얻었으며 Zilliz Cloud는 자체 인프라를 운영하지 않으려는 조직을 위한 상업적 관리형 서비스 역할을 합니다.
보안 및 관리
Zilliz Cloud는 저장 및 전송 중 암호화, 역할 기반 액세스 제어(RBAC), SAML 및 OIDC를 통한 ID 공급자 통합을 통한 단일 로그온을 포함한 엔터프라이즈급 보안 기능을 제공합니다. 이 서비스는 AWS PrivateLink 및 Azure Private Link와 같은 프라이빗 네트워킹 옵션을 제공하여 고객의 가상 프라이빗 클라우드 내에서 트래픽을 유지합니다.
운영 관리는 웹 콘솔과 API를 통해 처리됩니다. 사용자는 클러스터를 생성 및 삭제하고, 리소스를 확장하고, 알림을 구성할 수 있습니다. 이 서비스에는 자동 백업 및 특정 시점 복구도 포함됩니다. Zilliz는 문서, 튜토리얼, 커뮤니티 포럼과 함께 엔터프라이즈 고객을 위한 지원 플랜을 제공합니다.
대안과의 비교
Zilliz Cloud는 Pinecone 및 Weaviate Cloud와 같은 다른 관리형 벡터 데이터베이스 서비스와 경쟁합니다. 차별점은 광범위한 기능 세트와 큰 커뮤니티를 제공하는 기본 오픈소스 Milvus 프로젝트입니다. 벡터 확장 기능이 있는 기존 데이터베이스를 사용하는 것과 비교하여 Zilliz Cloud는 특수 인덱싱 및 쿼리 최적화를 제공합니다. 또한 서버리스 계층을 통해 스타트업에게 더 비용 효율적인 옵션을 제공하면서도 엔터프라이즈 요구 사항을 충족하도록 확장할 수 있습니다.
향후 방향
Zilliz Cloud의 개발은 새로운 인덱스 유형 지원 및 개선된 GPU 가속화와 같은 기능을 계속 추가하는 Milvus의 발전과 밀접하게 연결되어 있습니다. 딥러닝 및 대규모 언어 모델의 성장으로 효율적인 벡터 검색에 대한 수요가 증가할 것으로 예상됩니다. Zilliz는 멀티모달 데이터 및 실시간 추론을 포함한 새로운 AI 워크로드에 맞춰 서비스를 유지하는 것을 목표로 합니다.
인포박스
- 설립: 2017년
- 창립자: Charles Xie, Ken Li, Xiaofan Luan
- 본사: 미국 캘리포니아주 샌프란시스코
- 초점: AI 애플리케이션을 위한 관리형 벡터 데이터베이스
- 주요 제품: Zilliz Cloud(서버리스 및 전용), Milvus(오픈소스)
분류
- vector-database
- managed-service
- artificial-intelligence
- cloud-computing