Vectara est un service de recherche et de génération augmentée par récupération (RAG) propulsé par l'IA, qui permet aux organisations de créer des assistants conversationnels et des expériences de recherche fondés sur des faits, à partir de leurs propres données. Fondée en 2021 par d'anciens ingénieurs de Google, l'entreprise propose une plateforme de bout en bout qui combine recherche sémantique, génération par grands modèles de langage et capacités de citation afin de réduire les hallucinations et d'améliorer la fiabilité des réponses.
Le service est conçu pour être convivial pour les développeurs, offrant des API et des intégrations qui permettent aux entreprises d'ajouter des fonctionnalités de questions-réponses et de résumé à leurs applications sans nécessiter une expertise approfondie en apprentissage automatique. Vectara se positionne comme une solution de confiance, de qualité entreprise, en mettant l'accent sur la confidentialité des données, la sécurité et la conformité.
Historique et Fondation
Vectara a été fondée en 2021 par une équipe d'anciens ingénieurs de Google DeepMind et Google Cloud, notamment Jakob Uszkoreit, co-inventeur de l'architecture Transformer (architecture), et Lukasz Kaiser, autre contributeur clé à l'article sur le transformer. L'entreprise est sortie de son mode furtif en 2022, annonçant un financement de série A de 28,5 millions de dollars mené par Two Sigma Ventures, avec la participation d'autres investisseurs.
La solide expérience de l'équipe fondatrice dans les grands modèles de langage et les réseaux neuronaux a façonné l'accent mis par Vectara sur la combinaison de la récupération et de la génération dans une plateforme unique. La mission de l'entreprise était de rendre la IA générative accessible aux entreprises en fournissant un service géré qui gère les complexités de l'indexation, de la récupération et de la génération.
Technologie et Architecture
La plateforme de Vectara repose sur une architecture RAG propriétaire qui intègre plusieurs composants clés. Au cœur de celle-ci se trouve un moteur de recherche sémantique qui utilise des encodeurs basés sur le Transformer (architecture) pour comprendre le sens des requêtes et des documents, plutôt que de se fier uniquement à la correspondance de mots-clés. Cela permet une récupération plus précise des informations pertinentes à partir de grands corpus.
Le système intègre des mécanismes d'attention multi-têtes et des encodages positionnels pour traiter le texte efficacement. Vectara utilise également des couches de attention croisée pour aligner les requêtes avec le contenu des documents lors de la génération. La plateforme prend en charge diverses fonctions de perte et techniques d'optimisation, telles que Adam et variantes de SGD, pour affiner les modèles en fonction de cas d'utilisation spécifiques.
Une caractéristique distinctive de Vectara est son accent sur la réduction des hallucinations - la tendance des LLM à générer des informations plausibles mais incorrectes. Le service y parvient en ancrant les réponses générées dans des preuves récupérées, en fournissant des citations aux documents sources et en mettant en œuvre des boucles de rétroaction de type RLHF pour améliorer la précision au fil du temps.
Produits et Services
Vectara propose une gamme de produits conçus pour différents cas d'utilisation :
- Vectara Answer : Une API de questions-réponses qui permet aux développeurs de créer des assistants conversationnels sur leurs propres données. Elle prend en charge des fonctionnalités telles que le dialogue multi-tours, le résumé et la génération de citations.
- Vectara Search : Une API de recherche sémantique qui permet aux entreprises de mettre en œuvre une recherche en langage naturel sur des documents, des sites Web et des bases de données.
- Vectara Summarize : Un service de résumé qui condense de longs documents en résumés concis et précis tout en préservant les faits clés.
- Vectara Grounded Generation : Une plateforme pour créer des applications d'IA générative personnalisées avec un ancrage et une vérification des faits intégrés.
L'entreprise fournit également des SDK pour les langages de programmation populaires, des intégrations avec AWS, Azure et Google Cloud, ainsi qu'une console Web pour gérer les index et surveiller les performances.
Adoption en Entreprise et Cas d'Utilisation
Vectara cible les secteurs où la récupération précise d'informations est cruciale, tels que le juridique, la santé, la finance et le support client. Les cas d'utilisation typiques incluent :
- Automatisation du support client : Création de chatbots qui répondent aux questions sur les produits en se basant sur des bases de connaissances, réduisant ainsi le volume de tickets.
- Recherche juridique : Aider les avocats à trouver rapidement la jurisprudence et les lois pertinentes.
- Documentation de santé : Aider les cliniciens à récupérer des dossiers patients et de la littérature médicale avec une grande précision.
- Analyse financière : Résumer les rapports de résultats et les dépôts réglementaires pour les analystes.
En 2024, Vectara rapporte que sa plateforme traite des milliards de requêtes chaque année pour des clients allant des startups aux entreprises du Fortune 500. L'entreprise souligne que son service peut être déployé dans des environnements AWS, Azure ou Google Cloud, avec des options de déploiement sur site pour les organisations ayant des exigences strictes en matière de gouvernance des données.
Paysage Concurrentiel et Orientations Futures
Vectara est en concurrence avec d'autres fournisseurs de recherche et de RAG en IA générative, notamment les plugins de récupération d'OpenAI, Claude d'Anthropic avec citations, et des frameworks open source comme LangChain. Cependant, Vectara se différencie par son accent sur la fiabilité de qualité entreprise, les citations intégrées et un service entièrement géré qui abstrait les préoccupations d'infrastructure.
L'entreprise continue d'investir dans la recherche et le développement, en particulier dans des domaines comme le élagage de modèles pour réduire la latence, l'augmentation de données pour une meilleure généralisation, et l'apprentissage par curriculum pour améliorer l'efficacité de l'entraînement. Vectara explore également l'intégration avec des accélérateurs matériels AMD et Intel pour optimiser les coûts d'inférence.
En 2023, Vectara a lancé un niveau gratuit pour les développeurs, visant à accélérer l'adoption parmi les startups et les développeurs individuels. L'entreprise a également publié des recherches sur la détection et l'atténuation des hallucinations, contribuant au discours académique plus large sur la fiabilité des LLM.
À l'avenir, Vectara prévoit d'étendre sa plateforme pour prendre en charge les données multimodales, y compris les images et l'audio, et d'améliorer ses capacités à traiter des données structurées telles que les bases de données et les feuilles de calcul. L'entreprise reste engagée dans sa mission de rendre l'IA digne de confiance accessible à chaque organisation.