Evidently AI est une entreprise technologique qui développe des outils open-source pour la surveillance et le diagnostic des modèles d'apprentissage automatique en production. Fondée en 2020 par Emeli Dral et Michael Tsane, l'entreprise propose une suite de bibliothèques et de services qui aident les data scientists et les ingénieurs à détecter la dérive des données, la dégradation des modèles et d'autres problèmes pouvant survenir après le déploiement. La plateforme est largement utilisée dans des secteurs tels que la finance, la santé et le commerce électronique pour garantir la fiabilité et l'équité des systèmes d'IA.
Le cœur de l'offre d'Evidently AI est sa bibliothèque Python open-source, qui génère des rapports interactifs et des tableaux de bord à partir des prédictions des modèles et des données. Ces rapports couvrent une gamme d'analyses, notamment la détection de la dérive des données, l'évaluation des performances des modèles et l'importance des caractéristiques. La bibliothèque s'intègre avec les principaux frameworks d'apprentissage automatique et les outils de traitement de données, ce qui en fait un choix pratique pour les équipes utilisant déjà des machine-learning. En 2022, l'entreprise a lancé une plateforme commerciale qui ajoute des fonctionnalités de surveillance, d'alertes et de collaboration à la bibliothèque open-source.
Historique et financement
Evidently AI a été fondée en 2020 par Emeli Dral et Michael Tsane, tous deux ayant une expérience préalable en science des données et en ingénierie. L'entreprise est basée à Londres, au Royaume-Uni. En 2021, Evidently AI a levé un tour de table de 2,5 millions de dollars mené par le fonds de capital-risque Crane Venture Partners, avec la participation d'autres investisseurs. Ce financement a été utilisé pour agrandir l'équipe et accélérer le développement de la plateforme commerciale. D'ici 2023, l'entreprise comptait des milliers d'utilisateurs open-source et des dizaines de clients entreprises.
Fonctionnalités principales
La plateforme Evidently AI offre plusieurs capacités clés pour la surveillance des modèles d'apprentissage automatique. La détection de la dérive des données est une fonctionnalité principale, utilisant des tests statistiques et des mesures de distance pour comparer les distributions de données actuelles à une référence de base. Cela permet d'identifier quand les données d'entrée changent au fil du temps, ce qui peut entraîner une dégradation des performances du modèle. La plateforme suit également des métriques de qualité du modèle telles que l'exactitude, la précision, le rappel et le score F1, permettant aux équipes de surveiller les performances en continu.
Une autre fonctionnalité importante est la capacité de générer des rapports détaillés qui combinent des métriques numériques avec des visualisations. Ces rapports peuvent être exportés en fichiers HTML ou JSON, ce qui facilite le partage des résultats avec les parties prenantes. La bibliothèque open-source prend en charge à la fois les données tabulaires et les données textuelles, et peut être utilisée avec des systèmes basés sur de large-language-model pour des tâches telles que l'analyse de sentiments ou la classification de textes. De plus, la plateforme comprend un tableau de bord qui fournit une vue en temps réel de la santé du modèle, avec des alertes déclenchées lorsque les métriques dépassent des seuils prédéfinis.
Intégration et cas d'utilisation
Evidently AI est conçu pour s'intégrer de manière transparente dans les pipelines d'apprentissage automatique existants. Il fonctionne avec des outils populaires de traitement de données et d'orchestration tels que Apache Airflow, Prefect et Dagster, ainsi qu'avec des services cloud comme amazon-web-services et google-cloud. La bibliothèque peut être utilisée dans des notebooks Jupyter pour une analyse ad hoc ou déployée dans le cadre d'un système de surveillance continue. Les cas d'utilisation courants incluent la surveillance des modèles de prédiction de désabonnement des clients, des systèmes de détection de fraude et des moteurs de recommandation.
En pratique, les équipes utilisent Evidently AI pour valider que leurs modèles restent précis et impartiaux au fil du temps. Par exemple, une institution financière pourrait utiliser la plateforme pour surveiller un modèle de notation de crédit afin de détecter une dérive dans les données démographiques des demandeurs, garantissant ainsi que le modèle ne discrimine pas involontairement certains groupes. De même, une entreprise de commerce électronique pourrait suivre les changements de comportement des utilisateurs qui pourraient affecter un modèle de recommandation de produits.
Open source et communauté
La nature open-source d'Evidently AI a contribué à sa popularité. La bibliothèque est disponible sur GitHub sous licence Apache 2.0 et a reçu des contributions d'une communauté de développeurs et de data scientists. Le projet a gagné une traction significative, avec des milliers d'étoiles sur GitHub et une adoption par des entreprises du monde entier. L'entreprise maintient également une documentation et des tutoriels pour aider les utilisateurs à démarrer, et organise des événements communautaires tels que des webinaires et des rencontres.
En plus de la bibliothèque principale, Evidently AI a développé des intégrations avec d'autres projets open-source, tels que MLflow et Kubeflow, pour faciliter le suivi et le déploiement des modèles. L'engagement de l'entreprise envers l'open source se reflète dans son modèle économique, qui offre un niveau gratuit pour la bibliothèque open-source et un niveau payant pour la plateforme commerciale avec des fonctionnalités avancées comme la collaboration en équipe et le support prioritaire.
Orientations futures
À mesure que les modèles d'apprentissage automatique deviennent plus complexes et plus largement déployés, le besoin de solutions de surveillance robustes devrait croître. Evidently AI est bien positionnée pour répondre à cette demande en élargissant ses capacités pour couvrir de nouveaux types de modèles, notamment ceux basés sur l'deep-learning et les transformer. L'entreprise explore également des moyens d'intégrer des métriques d'explicabilité et d'équité dans sa plateforme, aidant les organisations à construire des systèmes d'IA plus dignes de confiance.
En 2023, Evidently AI a annoncé un partenariat avec alibaba-cloud pour proposer ses solutions de surveillance sur la place de marché d'Alibaba Cloud, étendant ainsi sa portée dans la région Asie-Pacifique. L'entreprise continue de publier régulièrement des mises à jour de sa bibliothèque open-source, ajoutant de nouvelles fonctionnalités et améliorant les performances. Avec l'accent croissant mis sur l'IA responsable, Evidently AI est susceptible de jouer un rôle clé pour aider les organisations à maintenir la santé de leurs systèmes d'apprentissage automatique.