Milvusは、スケーラブルな類似性検索とAIワークロードのために構築されたオープンソースのベクトルデータベースです。機械学習モデルによって生成された高次元ベクトル埋め込みを保存、インデックス化、管理し、数十億のベクトルにわたる高速な近似最近傍（ANN）検索を可能にします。Milvusは、レコメンデーションシステム、画像・動画検索、自然言語処理、大規模言語モデル向けの検索拡張生成（RAG）パイプラインなどのアプリケーションで広く使用されています。
このプロジェクトは、2017年にCharles Xieによって設立された企業Zillizによって開始され、最初の安定版であるMilvus 1.0は2019年9月にリリースされました。2021年に発表されたMilvus 2.0は、ストレージとコンピュートの分離を備えたクラウドネイティブアーキテクチャを導入し、分散デプロイメントと水平スケーラビリティをサポートしました。2024年時点で、Milvusは最も人気のあるオープンソースのベクトルデータベースの1つとなり、強力なコミュニティと世界中の1000以上の組織による採用を誇っています。
アーキテクチャと設計
Milvusは、データプレーンとコントロールプレーンを分離する共有ストレージアーキテクチャに従います。システムは、コーディネータサービス（root coord、data coord、query coord、index coord）、ワーカーノード（data nodes、query nodes、index nodes）、および書き込み先行ログ用のメッセージブローカー（PulsarまたはKafka）を含む複数のコアコンポーネントで構成されています。この設計により、AWS S3やMinIOなどのオブジェクトストレージにバックアップされたストレージから独立して、コンピュートリソースを弾力的にスケーリングできます。
データベースは、IVF（inverted file）、HNSW（hierarchical navigable small world）、DiskANNなど、ANN検索用の複数のインデックスタイプをサポートしており、ディスク上のデータでも効率的な検索を可能にします。Milvusはまた、スカラーフィルタリングとベクトル検索を組み合わせたハイブリッドクエリをメタデータ述語とともにサポートします。システムは、Python、Java、Go、Node.jsのSDKとRESTful APIを提供します。
機能と能力
Milvusは、本番AIアプリケーション向けに調整された豊富な機能セットを提供します。リアルタイムの挿入、アップサート、削除操作をサポートし、データの可視性はミリ秒以内です。システムはレプリカメカニズムを通じて高可用性を提供し、名前空間分離によるマルチテナンシーをサポートします。Milvusには、PrometheusとGrafanaを介した組み込みのモニタリングとメトリクスも含まれており、Kubernetesなどの主要なオーケストレーションプラットフォームと統合されています。
注目すべき機能の1つは、ダウンタイムなしでフィールドを追加できる動的スキーマのサポートです。Milvusはまた、検索空間を狭めてクエリパフォーマンスを向上させるパーティショニング機能も提供します。大規模デプロイメント向けに、システムはシャーディングをサポートし、トップkクエリに対してサブミリ秒のレイテンシで数十億のベクトルを処理できます。プロジェクトはまた、ローカル開発とテスト用の軽量バージョンであるMilvus Liteも導入しました。
エコシステムと統合
Milvusは、幅広いAIおよびデータツールと統合されています。これはLarge language modelエコシステムのコアコンポーネントであり、LangChainやLlamaIndexなどのフレームワークとともに検索拡張生成パイプラインでよく使用されます。Milvusは、OpenAIやAnthropicなどのプロバイダーの埋め込みモデルをサポートし、Amazon Web Services、Microsoft Azure、Google Cloudを含む主要なクラウドプラットフォームにデプロイできます。
プロジェクトはまた、Zilliz Cloudと呼ばれるマネージドクラウドサービスを提供しており、データバックアップやクロスリージョンレプリケーションなどの追加機能を備えた完全マネージドのMilvusエクスペリエンスを提供します。Milvusは、eコマース、金融、ヘルスケア、自動運転など、さまざまなセクターの企業に採用されています。また、PyTorchやTensorFlowなどのMachine learningおよびDeep learningフレームワークと併用して、研究や学術環境でも使用されています。
パフォーマンスとスケーラビリティ
Milvusは、高性能とスケーラビリティを考慮して設計されています。ベンチマークテストでは、コモディティハードウェアのクラスター上で、10億を超えるベクトルを平均レイテンシ10ミリ秒未満で検索できることを実証しています。システムは、SIMD（single instruction, multiple data）最適化とGPUアクセラレーションをインデックス構築とクエリ処理に活用しています。MilvusはCPUベースとGPUベースの両方のインデックスをサポートし、NVIDIA CUDAのGPUサポートを提供します。
Milvusのスケーラビリティは、クエリノードとデータノードの水平スケーリングを可能にする分散アーキテクチャを通じて達成されます。システムは高い書き込みスループットを処理でき、最適化された構成では毎秒数百万のベクトルを取り込むことができます。Milvusはまた、メモリ使用量を削減するメモリマップドファイル機能を提供し、限られたRAMでより大きなデータセットを処理できるようにします。
コミュニティとガバナンス
Milvusは、Apache 2.0ライセンスの下でのオープンソースプロジェクトであり、GitHubでホストされています。プロジェクトは貢献者のコミュニティによって運営され、Zillizがその開発において重要な役割を果たしています。Milvusは2023年にLinux Foundation AI & Dataの卒業プロジェクトとなり、その成熟度とガバナンスを示しています。コミュニティは、定期的なミートアップ、ウェビナー、およびUnstructured Data Summitと呼ばれる年次ユーザーカンファレンスを開催しています。
2024年時点で、MilvusのGitHubリポジトリは25,000を超えるスターと500人以上の貢献者を持っています。プロジェクトは、包括的なドキュメントサイト、ブログ、およびユーザーと開発者向けのSlackコミュニティを維持しています。Milvusには、開発者と管理者向けの認定プログラムもあり、CNCF Cloud Native Landscapeに含まれています。
ユースケースとアプリケーション
Milvusは、さまざまな実世界のアプリケーションで使用されています。eコマースでは、製品レコメンデーションとビジュアル検索エンジンを強化します。金融セクターでは、取引パターンのマッチングによる不正検出とリスク分析に使用されます。ヘルスケアでは、Milvusは医用画像分析と患者類似性検索をサポートします。Generative AIアプリケーションでは、MilvusはTransformer (architecture)ベースのモデルの機能を強化する知識ベースとセマンティック検索システムの構築に人気のある選択肢です。
もう1つの重要なユースケースは自動運転であり、Milvusはシーン理解のためのセンサーデータ埋め込みを保存および取得するために使用されます。メディア業界では、コンテンツベースのビデオおよびオーディオ検索を可能にします。Milvusはまた、サイバーセキュリティでの脅威検出や、バイオインフォマティクスでの遺伝子配列類似性検索にも使用されています。Milvusの汎用性は、多くのArtificial intelligenceイニシアチブの基盤ツールとなっています。
将来の方向性
Milvusの開発は、AIコミュニティのニーズに合わせて進化し続けています。将来の計画には、全文検索とベクトル機能を備えたハイブリッド検索の改善、ARMアーキテクチャでのパフォーマンス向上、Neural networkフレームワークとのより良い統合が含まれます。プロジェクトはまた、メモリフットプリントをさらに削減し、検索速度を向上させるために、学習インデックスと量子化技術の使用を模索しています。
Machine learningおよびDeep learningアプリケーションの需要が高まるにつれて、Milvusはインテリジェントアプリケーションを構築するための堅牢でスケーラブルな基盤を提供し、ベクトルデータベース技術の最前線に留まることを目指しています。コミュニティは、より直感的なAPIと、データ管理と可観測性のためのより良いツールを備えた、開発者エクスペリエンスの向上に積極的に取り組んでいます。