Zilliz는 오픈소스 Milvus 프로젝트를 기반으로 구축된 클라우드 기반 벡터 데이터베이스 서비스를 제공하는 기술 회사이다. 이 회사는 Artificial intelligence 및 Machine learning 워크로드를 위한 관리형 인프라를 제공하는 데 중점을 두고 있으며, 특히 이미지, 텍스트, 오디오와 같은 비정형 데이터의 유사성 검색 및 검색에 중점을 둔다. Zilliz의 플랫폼은 Generative AI 시스템부터 추천 엔진 및 이상 탐지에 이르기까지 다양한 애플리케이션을 지원하도록 설계되었다.
이 회사는 2017년 Oracle과 Yahoo에서 근무한 Charles Xie에 의해 설립되었다. Zilliz는 캘리포니아주 샌프란시스코에 본사를 두고 있으며, 중국에 연구 개발 조직을 운영하고 있다. "Zilliz"라는 이름은 "zillion"이라는 단어에서 유래했으며, 수십억 규모의 데이터 작업을 처리하려는 회사의 야망을 반영한다.
Milvus 및 벡터 데이터베이스 기술
Zilliz의 핵심 기술은 2019년에 처음 출시된 오픈소스 벡터 데이터베이스인 Milvus이다. Milvus는 Neural network 모델에서 생성된 대규모 벡터(예: Large language model의 임베딩 또는 이미지 인식 시스템의 임베딩)를 저장, 인덱싱 및 관리하도록 설계되었다. 이 데이터베이스는 HNSW(Hierarchical Navigable Small World) 및 IVF(Inverted File)를 포함한 여러 인덱싱 알고리즘을 지원하여 빠른 근사 최근접 이웃 검색을 가능하게 한다.
2021년, Zilliz는 Milvus를 Linux Foundation의 AI & Data Foundation에 기부하여 벤더 중립적인 오픈소스 프로젝트로 확립했다. 이 회사는 프로젝트 개발을 계속 주도하면서 Zilliz Cloud라는 완전 관리형 클라우드 서비스를 제공하며, 이 서비스는 고가용성, 데이터 복제 및 보안 제어와 같은 엔터프라이즈 기능을 제공한다.
Zilliz Cloud 플랫폼
Zilliz Cloud는 Amazon Web Services, Google Cloud 및 Microsoft Azure를 포함한 주요 클라우드 제공업체에서 사용할 수 있는 완전 관리형 벡터 데이터베이스 서비스이다. 이 플랫폼은 서버리스 및 전용 클러스터 옵션을 제공하여 조직이 기본 인프라를 관리하지 않고도 벡터 검색 워크로드를 확장할 수 있도록 한다. 주요 기능에는 다중 테넌시, 역할 기반 액세스 제어 및 인기 있는 머신러닝 프레임워크와의 통합이 포함된다.
이 서비스는 CPU 및 GPU 컴퓨팅을 모두 지원하며, GPU 옵션은 AMD 및 NVIDIA 하드웨어를 활용하여 고처리량 유사성 검색을 수행한다. Zilliz Cloud는 Milvus와 호환되는 API를 제공하여 자체 호스팅 배포에서 원활한 마이그레이션을 가능하게 한다. 2024년 기준으로 이 플랫폼은 다양한 산업 분야에서 매일 수십억 건의 쿼리를 처리한다.
애플리케이션 및 사용 사례
Zilliz의 기술은 다양한 Deep learning 애플리케이션에서 사용된다. Generative AI에서 벡터 데이터베이스는 Large language model의 메모리 계층 역할을 하여 모델이 외부 지식 기반에 접근할 수 있도록 하는 검색 증강 생성(RAG)을 가능하게 한다. 챗봇, 의미 검색 엔진 및 추천 시스템을 구축하는 회사들은 효율적인 임베딩 저장 및 검색을 위해 Zilliz에 의존한다.
다른 사용 사례로는 이미지 및 비디오 유사성 검색, 신약 발견, 사기 탐지 및 개인화된 콘텐츠 전달이 있다. 이 플랫폼은 또한 자율 주행 시스템의 객체 인식과 생명공학의 유전체 분석에도 사용된다. Zilliz는 전자상거래, 금융, 헬스케어 및 미디어를 포함한 다양한 분야의 고객을 보유하고 있다고 보고한다.
자금 및 성장
Zilliz는 성장을 지원하기 위해 상당한 벤처 캐피털 자금을 조달했다. 2022년, 이 회사는 Temasek이 주도하고 Yunqi Capital 및 5Y Capital을 포함한 기존 투자자들이 참여한 6천만 달러 규모의 시리즈 B 라운드를 완료했다. 자금은 클라우드 서비스 확장, 엔지니어링 팀 성장 및 벡터 인덱싱 알고리즘 연구 발전에 사용되었다.
2023년까지 Zilliz는 Milvus를 사용하는 1,000개 이상의 엔터프라이즈 고객과 10,000명 이상의 개발자 커뮤니티를 보유했다고 보고했다. 이 회사는 Coreweave 및 Cerebras를 포함한 클라우드 제공업체 및 AI 인프라 회사와 파트너십을 구축하여 고성능 컴퓨팅 환경을 위한 최적화된 배포를 제공한다.
경쟁 구도 및 향후 방향
Zilliz는 빠르게 진화하는 벡터 데이터베이스 시장에서 활동하며, 다른 전문 제공업체 및 벡터 지원을 추가하는 범용 데이터베이스와 경쟁하고 있다. 이 회사는 오픈소스 개발과 수십억 규모 데이터셋을 위한 성능 최적화에 중점을 두어 차별화한다. Zilliz는 근사 최근접 이웃 알고리즘과 벡터 및 스칼라 필터링을 결합한 하이브리드 검색 기능에 대한 연구에 계속 투자하고 있다.
향후 개발 우선순위에는 Transformer (architecture) 기반 모델과의 통합 개선, 실시간 스트리밍 데이터 지원 강화 및 추가 클라우드 리전으로의 관리형 서비스 확장이 포함된다. 이 회사는 또한 OpenAI 및 기타 AI 모델 제공업체와의 파트너십을 모색하여 검색 증강 애플리케이션의 배포를 간소화하고 있다.
커뮤니티 및 생태계
Zilliz는 Milvus를 중심으로 활발한 오픈소스 커뮤니티를 유지하며, 전 세계 개발자들의 정기적인 릴리스와 기여를 통해 발전하고 있다. 이 프로젝트는 MIT CSAIL 및 BAIR (Berkeley AI Research)를 포함한 학술 기관 및 연구소에서 대규모 유사성 검색 실험에 채택되었다. Zilliz는 또한 벡터 데이터베이스 및 AI 인프라 분야의 지식 공유를 촉진하기 위해 컨퍼런스와 밋업을 조직한다.
이 회사는 방대한 문서, 여러 프로그래밍 언어용 SDK 및 튜토리얼을 제공하여 채택 장벽을 낮춘다. 커뮤니티 프로그램을 통해 Zilliz는 관계형 데이터베이스가 전통적인 데이터 관리의 기반이 된 것과 유사하게 Milvus를 표준 오픈소스 벡터 데이터베이스로 확립하는 것을 목표로 한다.