Marqo est un moteur de recherche vectoriel open source conçu pour apporter des capacités de recherche neuronale à un large éventail d'applications. Il exploite des modèles de apprentissage profond pour générer des embeddings pour le texte et les images, permettant aux utilisateurs d'effectuer une recherche sémantique qui comprend le sens et le contexte des requêtes plutôt que de se fier uniquement à la correspondance de mots-clés. La plateforme est conçue pour être évolutive et conviviale pour les développeurs, offrant une API simple pour l'indexation et l'interrogation des données.
L'architecture de Marqo est centrée sur le concept de récupération basée sur les embeddings. Elle utilise des modèles de réseaux neuronaux pour convertir des données non structurées, telles que des documents et des images, en vecteurs de haute dimension. Ces vecteurs sont ensuite indexés et stockés, permettant des recherches de similarité rapides et précises. Le moteur prend en charge à la fois les méthodes de récupération denses et éparses, offrant une flexibilité pour différents cas d'utilisation. Il inclut également des fonctionnalités telles que le filtrage, la facettisation et la recherche multimodale, ce qui le rend adapté au commerce électronique, à la découverte de contenu et aux solutions de recherche d'entreprise.
Historique et développement
Marqo a été créé pour répondre au besoin croissant d'outils de recherche vectorielle accessibles et efficaces dans l'écosystème de l'intelligence artificielle. Le projet a été open-sourcé pour permettre aux développeurs et aux organisations de créer des expériences de recherche personnalisées sans la complexité de la gestion de l'infrastructure sous-jacente. L'équipe de développement s'est concentrée sur la création d'un système capable de gérer des ensembles de données à grande échelle tout en maintenant une faible latence pour les requêtes en temps réel. Depuis sa sortie initiale, Marqo a gagné en popularité dans la communauté des développeurs, avec des contributions de diverses personnes et entreprises intéressées par l'avancement des applications de apprentissage automatique.
Le moteur est conçu pour s'intégrer de manière transparente aux frameworks et outils populaires de grands modèles de langage. Il offre un support natif pour les modèles de fournisseurs comme OpenAI et Anthropic, permettant aux utilisateurs de brancher leurs générateurs d'embeddings préférés. Cette interopérabilité a fait de Marqo un choix polyvalent pour les projets qui nécessitent à la fois une compréhension sémantique et une récupération efficace.
Fonctionnalités principales
L'une des principales fonctionnalités de Marqo est sa capacité à effectuer une recherche multimodale. Les utilisateurs peuvent indexer à la fois du texte et des images, et interroger en utilisant l'une ou l'autre modalité. Par exemple, un utilisateur pourrait rechercher un produit en utilisant une description textuelle et récupérer des images pertinentes, ou vice versa. Cela est réalisé grâce à l'utilisation d'espaces d'embeddings partagés, où différents types de données sont mappés à une représentation vectorielle commune.
Une autre fonctionnalité clé est son support pour la recherche hybride, qui combine la récupération vectorielle dense avec des méthodes éparses traditionnelles comme BM25. Cette approche garantit que les correspondances sémantiques et exactes de mots-clés sont prises en compte, améliorant ainsi la pertinence globale de la recherche. Marqo offre également des capacités de filtrage avancées, permettant aux utilisateurs de réduire les résultats en fonction de métadonnées ou de champs personnalisés.
La plateforme inclut un moteur d'inférence intégré qui peut exécuter des modèles d'embeddings sur CPU ou GPU, avec des optimisations pour divers matériels. Elle prend en charge l'intégration avec des services cloud tels que Amazon Web Services et Google Cloud, permettant un déploiement dans des environnements évolutifs. De plus, Marqo fournit une API RESTful et des bibliothèques clientes pour les langages de programmation populaires, simplifiant le processus de développement.
Cas d'utilisation et applications
Marqo est utilisé dans divers domaines où la recherche sémantique est critique. Dans le commerce électronique, il alimente des systèmes de recommandation de produits qui comprennent l'intention de l'utilisateur au-delà des simples mots-clés. Par exemple, une requête comme « chaussures de course confortables » peut renvoyer des résultats qui correspondent au sens sémantique, même si les mots exacts ne sont pas présents dans les descriptions de produits.
Dans le domaine de la IA générative, Marqo est souvent utilisé comme composant de récupération pour les systèmes basés sur transformers. Il peut servir de base de connaissances pour les grands modèles de langage, fournissant un contexte pertinent pour améliorer la précision des réponses générées. Cela est particulièrement utile pour construire des chatbots et des assistants virtuels qui doivent accéder à de grands volumes d'informations.
Les plateformes médiatiques et de contenu utilisent Marqo pour permettre la recherche visuelle, permettant aux utilisateurs de trouver des images ou des vidéos en fonction de la similarité visuelle. Cela s'applique aux bibliothèques de photos libres de droits, aux plateformes de médias sociaux et aux systèmes de gestion des actifs numériques. La capacité du moteur à gérer des ensembles de données à grande échelle le rend adapté aux déploiements d'entreprise où la performance et la fiabilité sont primordiales.
Architecture technique
Marqo est construit sur des technologies d'indexation vectorielle établies, y compris les graphes HNSW (Hierarchical Navigable Small World), qui fournissent une recherche efficace du plus proche voisin approximatif. Le système est conçu pour être horizontalement évolutif, avec un support pour le partitionnement et la réplication. Il utilise une architecture distribuée qui peut être déployée sur plusieurs nœuds, garantissant une haute disponibilité et un débit élevé.
Le moteur est écrit en Python et utilise des bibliothèques populaires telles que PyTorch pour l'inférence de modèles. Il inclut un composant de base de données vectorielle qui gère le stockage et la récupération des embeddings. Marqo offre également un mode de développement local, permettant aux développeurs de tester leurs applications sans configurer un cluster complet.
Pour les organisations cherchant à déployer Marqo en production, il peut être exécuté dans des environnements conteneurisés en utilisant Docker et orchestré avec Kubernetes. Cela le rend compatible avec les workflows cloud-natifs modernes et permet l'intégration avec l'infrastructure existante de Azure ou Oracle Cloud.
Communauté et écosystème
Marqo a une communauté open source active qui contribue à son développement et à sa documentation. Le projet est hébergé sur GitHub, où les utilisateurs peuvent signaler des problèmes, soumettre des demandes de tirage et accéder au code source. La communauté fournit un support via des forums et des canaux de discussion, aidant les nouveaux arrivants à démarrer avec la plateforme.
L'écosystème autour de Marqo inclut des intégrations avec divers outils et frameworks de apprentissage automatique. Il peut être utilisé aux côtés de TensorFlow ou PyTorch pour l'entraînement de modèles personnalisés, et il prend en charge des hubs de modèles comme Hugging Face pour accéder à des embeddings pré-entraînés. Cette flexibilité permet aux développeurs d'adapter l'expérience de recherche à leurs besoins spécifiques.
Orientations futures
Alors que le domaine de l'intelligence artificielle continue d'évoluer, Marqo devrait intégrer les avancées dans les modèles d'embeddings et les techniques de récupération. L'équipe derrière le projet explore des moyens d'améliorer l'efficacité et de réduire le coût computationnel de l'exécution de recherches à grande échelle. Il y a également un travail en cours pour améliorer le support de l'indexation en temps réel et des données en streaming.
L'engagement de Marqo envers les principes open source garantit qu'il restera accessible à un large public, des développeurs individuels aux grandes entreprises. En fournissant une solution de recherche vectorielle robuste et flexible, il joue un rôle significatif dans le paysage plus large de la récupération d'informations alimentée par l'IA.