Milvus는 확장 가능한 유사도 검색과 AI 워크로드를 위해 구축된 오픈소스 벡터 데이터베이스이다. 기계 학습 모델이 생성한 고차원 벡터 임베딩을 저장, 인덱싱, 관리하여 수십억 개의 벡터에 걸친 빠른 근사 최근접 이웃(ANN) 검색을 가능하게 한다. Milvus는 추천 시스템, 이미지 및 비디오 검색, 자연어 처리, 대규모 언어 모델을 위한 검색 증강 생성(RAG) 파이프라인과 같은 애플리케이션에서 널리 사용된다.
이 프로젝트는 2017년 Charles Xie가 설립한 회사인 Zilliz에 의해 시작되었으며, 첫 번째 안정 버전인 Milvus 1.0은 2019년 9월에 출시되었다. 2021년에 출시된 Milvus 2.0은 저장소와 컴퓨팅을 분리한 클라우드 네이티브 아키텍처를 도입하여 분산 배포와 수평적 확장을 지원했다. 2024년 기준으로 Milvus는 가장 인기 있는 오픈소스 벡터 데이터베이스 중 하나가 되었으며, 강력한 커뮤니티와 전 세계 천 개 이상의 조직에서 채택하고 있다.
아키텍처 및 설계
Milvus는 데이터 플레인과 컨트롤 플레인을 분리하는 공유 저장소 아키텍처를 따른다. 시스템은 여러 핵심 구성 요소로 구성된다: 코디네이터 서비스(루트 코디, 데이터 코디, 쿼리 코디, 인덱스 코디), 워커 노드(데이터 노드, 쿼리 노드, 인덱스 노드), 그리고 쓰기 전 로깅을 위한 메시지 브로커(Pulsar 또는 Kafka)이다. 이 설계는 AWS S3 또는 MinIO와 같은 객체 저장소에 백업되는 저장소와 독립적으로 컴퓨팅 리소스를 탄력적으로 확장할 수 있게 한다.
데이터베이스는 IVF(역파일), HNSW(계층적 내비게이블 소규모 세계), DiskANN을 포함한 여러 ANN 검색 인덱스 유형을 지원하며, 디스크 상주 데이터에서도 효율적인 검색을 가능하게 한다. Milvus는 또한 벡터 검색과 결합된 스칼라 필터링을 지원하여 메타데이터 조건을 포함한 하이브리드 쿼리를 허용한다. 시스템은 Python, Java, Go, Node.js용 SDK와 RESTful API를 제공한다.
기능 및 역량
Milvus는 프로덕션 AI 애플리케이션에 맞춘 다양한 기능을 제공한다. 실시간 삽입, 업서트, 삭제 작업을 지원하며 데이터 가시성은 밀리초 이내이다. 시스템은 복제 메커니즘을 통한 고가용성을 제공하고 네임스페이스 격리를 통한 다중 테넌시를 지원한다. Milvus는 또한 Prometheus 및 Grafana를 통한 내장 모니터링 및 메트릭을 포함하며 Kubernetes와 같은 주요 오케스트레이션 플랫폼과 통합된다.
주목할 만한 기능 중 하나는 동적 스키마 지원으로, 가동 중단 없이 필드를 추가할 수 있다. Milvus는 또한 검색 공간을 좁혀 쿼리 성능을 향상시키는 파티셔닝 기능을 제공한다. 대규모 배포의 경우 시스템은 샤딩을 지원하며 수십억 개의 벡터를 처리하고 top-k 쿼리에 대해 서브 밀리초 대기 시간을 제공할 수 있다. 프로젝트는 또한 로컬 개발 및 테스트를 위한 경량 버전인 Milvus Lite를 도입했다.
생태계 및 통합
Milvus는 다양한 AI 및 데이터 도구와 통합된다. 이는 Large language model 생태계의 핵심 구성 요소로, LangChain 및 LlamaIndex와 같은 프레임워크와 함께 retrieval-augmented generation 파이프라인에서 자주 사용된다. Milvus는 OpenAI 및 Anthropic과 같은 제공업체의 임베딩 모델을 지원하며 Amazon Web Services, Microsoft Azure, Google Cloud를 포함한 주요 클라우드 플랫폼에 배포할 수 있다.
프로젝트는 또한 Zilliz Cloud라는 관리형 클라우드 서비스를 제공하며, 데이터 백업 및 교차 지역 복제와 같은 추가 기능을 갖춘 완전 관리형 Milvus 경험을 제공한다. Milvus는 전자상거래, 금융, 의료, 자율주행을 포함한 다양한 분야의 기업에서 채택되었다. 또한 PyTorch 및 TensorFlow와 같은 Machine learning 및 Deep learning 프레임워크와 함께 연구 및 학술 환경에서도 사용된다.
성능 및 확장성
Milvus는 고성능과 확장성을 위해 설계되었다. 벤치마크 테스트에서 상용 하드웨어 클러스터에서 10억 개 이상의 벡터를 평균 10밀리초 미만의 대기 시간으로 검색하는 능력을 입증했다. 시스템은 SIMD(단일 명령 다중 데이터) 최적화와 GPU 가속을 인덱스 구축 및 쿼리 처리에 활용한다. Milvus는 CPU 및 GPU 기반 인덱싱을 모두 지원하며 NVIDIA CUDA용 GPU 지원을 제공한다.
Milvus의 확장성은 분산 아키텍처를 통해 달성되며, 쿼리 및 데이터 노드의 수평적 확장을 허용한다. 시스템은 높은 쓰기 처리량을 처리할 수 있으며, 최적화된 구성에서 초당 수백만 개의 벡터를 수집할 수 있다. Milvus는 또한 메모리 사용량을 줄이기 위한 메모리 매핑 파일 기능을 제공하여 제한된 RAM에서 더 큰 데이터 세트를 처리할 수 있게 한다.
커뮤니티 및 거버넌스
Milvus는 Apache 2.0 라이선스 하의 오픈소스 프로젝트로 GitHub에서 호스팅된다. 프로젝트는 기여자 커뮤니티에 의해 운영되며 Zilliz가 개발에 핵심 역할을 한다. Milvus는 2023년 Linux Foundation AI & Data의 졸업 프로젝트가 되어 성숙도와 거버넌스를 입증했다. 커뮤니티는 정기적인 미트업, 웨비나, 그리고 Unstructured Data Summit이라는 연례 사용자 컨퍼런스를 개최한다.
2024년 기준으로 Milvus GitHub 저장소는 25,000개 이상의 스타와 500명 이상의 기여자를 보유하고 있다. 프로젝트는 포괄적인 문서 사이트, 블로그, 사용자 및 개발자용 Slack 커뮤니티를 유지한다. Milvus는 또한 개발자 및 관리자를 위한 인증 프로그램을 제공하며 CNCF Cloud Native Landscape에 포함된다.
사용 사례 및 애플리케이션
Milvus는 다양한 실제 애플리케이션에서 사용된다. 전자상거래에서는 제품 추천 및 시각적 검색 엔진을 지원한다. 금융 분야에서는 거래 패턴 매칭을 통한 사기 탐지 및 위험 분석에 사용된다. 의료 분야에서 Milvus는 의료 이미지 분석 및 환자 유사도 검색을 지원한다. Generative AI 애플리케이션의 경우 Milvus는 Transformer (architecture) 기반 모델의 역량을 강화하는 지식 베이스 및 의미 검색 시스템 구축에 인기 있는 선택이다.
또 다른 중요한 사용 사례는 자율주행으로, Milvus는 장면 이해를 위한 센서 데이터 임베딩을 저장하고 검색하는 데 사용된다. 미디어 산업에서는 콘텐츠 기반 비디오 및 오디오 검색을 가능하게 한다. Milvus는 또한 사이버 보안의 위협 탐지와 생물정보학의 유전자 서열 유사도 검색에 사용된다. Milvus의 다재다능함은 많은 Artificial intelligence 이니셔티브의 기반 도구로 만든다.
향후 방향
Milvus의 개발은 AI 커뮤니티의 요구에 맞춰 계속 진화하고 있다. 향후 계획에는 전체 텍스트 및 벡터 기능을 갖춘 하이브리드 검색 지원 개선, ARM 아키텍처에서의 성능 향상, Neural network 프레임워크와의 더 나은 통합이 포함된다. 프로젝트는 또한 메모리 사용량을 더 줄이고 검색 속도를 개선하기 위해 학습된 인덱스 및 양자화 기술의 사용을 탐구하고 있다.
Machine learning 및 Deep learning 애플리케이션에 대한 수요가 증가함에 따라 Milvus는 지능형 애플리케이션 구축을 위한 견고하고 확장 가능한 기반을 제공하며 벡터 데이터베이스 기술의 최전선에 머무는 것을 목표로 한다. 커뮤니티는 더 직관적인 API와 데이터 관리 및 관찰 가능성을 위한 더 나은 도구를 통해 개발자 경험을 개선하기 위해 적극적으로 노력하고 있다.