Hopsworks est une plateforme MLOps open source et un feature store conçu pour prendre en charge l'ensemble du cycle de vie des projets de machine learning et d'intelligence artificielle. Il fournit un environnement unifié pour l'ingénierie des features, l'entraînement des modèles et le déploiement, avec un fort accent sur la reproductibilité et la collaboration. La plateforme est développée par Logical Clocks AB, une entreprise fondée en 2016 à Stockholm, en Suède, et a été adoptée par des organisations de divers secteurs, notamment la finance, la santé et les télécommunications.
La plateforme s'intègre aux frameworks de machine learning populaires tels que TensorFlow, PyTorch et scikit-learn, et prend en charge les pipelines de features par lots et en temps réel. Hopsworks est construit sur des systèmes distribués comme Apache Spark et Apache Hops, offrant des capacités de stockage et de traitement évolutives. Il comprend également un feature store qui permet aux équipes de partager et de réutiliser les features entre les projets, réduisant ainsi la duplication et améliorant la cohérence des modèles.
Feature Store
Le feature store de Hopsworks est un référentiel central pour les features de machine learning, permettant aux data scientists de créer, gérer et partager des features avec leurs équipes. Il prend en charge à la fois le stockage hors ligne et en ligne, permettant une récupération à faible latence pour l'inférence en temps réel. Les features sont versionnées et peuvent être étiquetées avec des métadonnées, ce qui facilite le suivi de la lignée et garantit la qualité des données. Le feature store s'intègre au reste du flux de travail MLOps, permettant aux features d'être utilisées directement dans les pipelines d'entraînement et les points de terminaison de service.
Capacités MLOps
Hopsworks fournit un ensemble complet d'outils MLOps, notamment un registre de modèles, un suivi d'expériences et un service de modèles. Le registre de modèles permet aux équipes de versionner et de gérer les modèles entraînés, avec un support pour la lignée et la gouvernance des modèles. Le suivi d'expériences capture les métriques, les paramètres et les artefacts, permettant des expériences reproductibles. Pour le déploiement, Hopsworks offre à la fois un service par lots et en ligne, avec un support pour la mise à l'échelle basée sur Kubernetes et l'intégration avec Amazon Web Services, Azure et Google Cloud.
Open Source et Communauté
Hopsworks est publié sous la licence Apache 2.0, ce qui le rend librement disponible pour une utilisation commerciale et non commerciale. La communauté open source contribue à son développement, et la plateforme dispose d'une feuille de route publique et d'une documentation. Logical Clocks propose également une version entreprise avec des fonctionnalités supplémentaires telles que le contrôle d'accès basé sur les rôles, la haute disponibilité et le support. L'édition communautaire est largement utilisée dans la recherche académique et par les startups, tandis que l'édition entreprise cible les grandes organisations ayant des exigences plus strictes en matière de sécurité et de conformité.
Cas d'utilisation
Hopsworks a été appliqué dans divers domaines, notamment la détection de fraude, les systèmes de recommandation et la maintenance prédictive. Par exemple, une entreprise de services financiers pourrait utiliser Hopsworks pour construire un modèle de détection de fraude en créant des features à partir de données de transactions, en entraînant un modèle réseau de neurones et en le déployant pour un scoring en temps réel. Dans le secteur de la santé, Hopsworks peut soutenir le développement de modèles prédictifs pour les résultats des patients, en exploitant les features des dossiers de santé électroniques. La capacité de la plateforme à gérer à la fois les données par lots et en streaming la rend adaptée aux applications nécessitant une prise de décision en temps réel.
Architecture et Intégration
Hopsworks est conçu avec une architecture de microservices, avec des composants pour le feature store, l'entraînement, le service et la gestion des métadonnées. Il s'intègre à Apache Spark pour le traitement des données, à Hadoop pour le stockage et à Airflow pour l'orchestration des flux de travail. La plateforme prend également en charge Python et Scala pour l'écriture de code de features et d'entraînement. L'intégration avec MLflow est disponible pour le suivi d'expériences, et Kubeflow pour l'orchestration des pipelines. Hopsworks peut être déployé sur site ou dans le cloud, avec un support pour Docker et Kubernetes.
Conclusion
Hopsworks se distingue comme une plateforme MLOps robuste qui répond aux défis de la gestion des features et du cycle de vie des modèles. Sa nature open source et son feature store solide en font un outil précieux pour les équipes de science des données cherchant à rationaliser leurs flux de travail de machine learning. Alors que le domaine de l'intelligence artificielle continue d'évoluer, des plateformes comme Hopsworks jouent un rôle crucial dans l'opérationnalisation des modèles de machine learning à grande échelle.