Milvus es una base de datos vectorial de código abierto diseñada para la búsqueda de similitudes escalable y cargas de trabajo de IA. Almacena, indexa y gestiona incrustaciones vectoriales de alta dimensión generadas por modelos de aprendizaje automático, lo que permite una búsqueda rápida del vecino más cercano aproximado (ANN) entre miles de millones de vectores. Milvus se utiliza ampliamente en aplicaciones como sistemas de recomendación, recuperación de imágenes y vídeos, procesamiento del lenguaje natural y canalizaciones de generación aumentada por recuperación (RAG) para modelos de lenguaje de gran tamaño.
El proyecto fue iniciado por Zilliz, una empresa fundada en 2017 por Charles Xie, y la primera versión estable, Milvus 1.0, se publicó en septiembre de 2019. Milvus 2.0, lanzado en 2021, introdujo una arquitectura nativa de la nube con una separación de almacenamiento y computación, que admite el despliegue distribuido y la escalabilidad horizontal. A partir de 2024, Milvus se ha convertido en una de las bases de datos vectoriales de código abierto más populares, con una sólida comunidad y la adopción por parte de más de mil organizaciones en todo el mundo.
Arquitectura y diseño
Milvus sigue una arquitectura de almacenamiento compartido que desacopla el plano de datos y el plano de control. El sistema comprende varios componentes principales: los servicios coordinadores (coordinador raíz, coordinador de datos, coordinador de consultas, coordinador de índices), los nodos de trabajo (nodos de datos, nodos de consulta, nodos de índice) y un intermediario de mensajes (Pulsar o Kafka) para el registro de escritura anticipada. Este diseño permite escalar elásticamente los recursos de computación de forma independiente del almacenamiento, que está respaldado por almacenamiento de objetos como AWS S3 o MinIO.
La base de datos admite múltiples tipos de índice para la búsqueda ANN, incluidos IVF (archivo invertido), HNSW (mundo pequeño navegable jerárquico) y DiskANN, que permite una búsqueda eficiente incluso en datos residentes en disco. Milvus también admite el filtrado escalar combinado con la búsqueda vectorial, lo que permite consultas híbridas con predicados de metadatos. El sistema proporciona SDK en Python, Java, Go y Node.js, así como una API RESTful.
Características y capacidades
Milvus ofrece un rico conjunto de características adaptadas para aplicaciones de IA en producción. Admite operaciones de inserción, actualización y eliminación en tiempo real, con visibilidad de datos en milisegundos. El sistema proporciona alta disponibilidad mediante mecanismos de réplica y admite multiinquilino con aislamiento de espacios de nombres. Milvus también incluye monitorización y métricas integradas mediante Prometheus y Grafana, y se integra con plataformas de orquestación importantes como Kubernetes.
Una característica notable es el soporte para esquemas dinámicos, que permite a los usuarios añadir campos sin tiempo de inactividad. Milvus también proporciona una función de particionado para mejorar el rendimiento de las consultas al reducir el espacio de búsqueda. Para despliegues a gran escala, el sistema admite la fragmentación y puede manejar hasta miles de millones de vectores con una latencia de submilisegundos para consultas top-k. El proyecto también introdujo Milvus Lite, una versión ligera para el desarrollo y las pruebas locales.
Ecosistema e integraciones
Milvus se integra con una amplia gama de herramientas de IA y datos. Es un componente central del ecosistema de Large language model, utilizado a menudo en canalizaciones de generación aumentada por recuperación junto con marcos como LangChain y LlamaIndex. Milvus admite modelos de incrustación de proveedores como OpenAI y Anthropic, y puede desplegarse en las principales plataformas de nube, incluidas Amazon Web Services, Microsoft Azure y Google Cloud.
El proyecto también ofrece un servicio de nube gestionado llamado Zilliz Cloud, que proporciona una experiencia de Milvus totalmente gestionada con características adicionales como copia de seguridad de datos y replicación entre regiones. Milvus ha sido adoptado por empresas de diversos sectores, incluidos el comercio electrónico, las finanzas, la atención sanitaria y la conducción autónoma. También se utiliza en entornos de investigación y académicos, a menudo junto con marcos de Machine learning y Deep learning como PyTorch y TensorFlow.
Rendimiento y escalabilidad
Milvus está diseñado para un alto rendimiento y escalabilidad. En pruebas de referencia, ha demostrado la capacidad de buscar más de mil millones de vectores con una latencia media inferior a 10 milisegundos en un clúster de hardware estándar. El sistema aprovecha las optimizaciones SIMD (instrucción única, múltiples datos) y la aceleración por GPU para la construcción de índices y el procesamiento de consultas. Milvus admite tanto la indexación basada en CPU como en GPU, con soporte de GPU para NVIDIA CUDA.
La escalabilidad de Milvus se logra mediante su arquitectura distribuida, que permite el escalado horizontal de los nodos de consulta y datos. El sistema puede manejar un alto rendimiento de escritura, con la capacidad de ingerir millones de vectores por segundo en configuraciones optimizadas. Milvus también proporciona una función de archivos mapeados en memoria para reducir el uso de memoria, lo que permite manejar conjuntos de datos más grandes con RAM limitada.
Comunidad y gobernanza
Milvus es un proyecto de código abierto bajo la licencia Apache 2.0, alojado en GitHub. El proyecto está gobernado por una comunidad de colaboradores, con Zilliz desempeñando un papel clave en su desarrollo. Milvus se convirtió en un proyecto graduado de Linux Foundation AI & Data en 2023, lo que significa su madurez y gobernanza. La comunidad organiza reuniones periódicas, seminarios web y una conferencia anual de usuarios llamada Unstructured Data Summit.
A partir de 2024, el repositorio de GitHub de Milvus tiene más de 25 000 estrellas y más de 500 colaboradores. El proyecto mantiene un sitio de documentación completo, un blog y una comunidad de Slack para usuarios y desarrolladores. Milvus también tiene un programa de certificación para desarrolladores y administradores, y está incluido en el CNCF Cloud Native Landscape.
Casos de uso y aplicaciones
Milvus se utiliza en una variedad de aplicaciones del mundo real. En el comercio electrónico, impulsa los motores de recomendación de productos y de búsqueda visual. En el sector financiero, se utiliza para la detección de fraudes y el análisis de riesgos mediante la comparación de patrones de transacciones. En la atención sanitaria, Milvus admite el análisis de imágenes médicas y la búsqueda de similitudes entre pacientes. Para aplicaciones de Generative AI, Milvus es una opción popular para construir bases de conocimiento y sistemas de búsqueda semántica que mejoran las capacidades de los modelos basados en Transformer (architecture).
Otro caso de uso significativo es la conducción autónoma, donde Milvus se utiliza para almacenar y recuperar incrustaciones de datos de sensores para la comprensión de escenas. En la industria de los medios, permite la recuperación de vídeo y audio basada en contenido. Milvus también se utiliza en ciberseguridad para la detección de amenazas y en bioinformática para la búsqueda de similitudes en secuencias genéticas. La versatilidad de Milvus lo convierte en una herramienta fundamental para muchas iniciativas de Artificial intelligence.
Direcciones futuras
El desarrollo de Milvus continúa evolucionando con las necesidades de la comunidad de IA. Los planes futuros incluyen un mejor soporte para la búsqueda híbrida con capacidades de texto completo y vectoriales, un rendimiento mejorado en arquitecturas ARM y una mejor integración con marcos de Neural network. El proyecto también está explorando el uso de índices aprendidos y técnicas de cuantificación para reducir aún más la huella de memoria y mejorar la velocidad de búsqueda.
A medida que crece la demanda de aplicaciones de Machine learning y Deep learning, Milvus tiene como objetivo permanecer a la vanguardia de la tecnología de bases de datos vectoriales, proporcionando una base sólida y escalable para construir aplicaciones inteligentes. La comunidad está trabajando activamente en mejorar la experiencia del desarrollador, con API más intuitivas y mejores herramientas para la gestión de datos y la observabilidad.