Featureform est un registre de fonctionnalités open-source conçu pour les flux de travail d'apprentissage automatique. Il fournit une plateforme centralisée pour définir, gérer et servir les fonctionnalités - les variables d'entrée utilisées pour entraîner et exécuter des modèles d'apprentissage automatique. Le projet vise à simplifier le cycle de vie de l'ingénierie des fonctionnalités en offrant un registre de fonctionnalités virtuel qui peut fonctionner au-dessus de l'infrastructure de données existante, telle que les entrepôts de données et le stockage d'objets, sans nécessiter une base de données dédiée distincte.
Fondé en 2021, Featureform a été créé pour répondre aux défis de la gestion des fonctionnalités dans les systèmes d'apprentissage automatique en production. Il est développé par une entreprise du même nom, avec son logiciel principal disponible sous une licence open-source. La plateforme est utilisée par les équipes de science des données et d'apprentissage automatique pour améliorer la collaboration, garantir la cohérence entre les données d'entraînement et de service, et réduire le temps consacré à l'ingénierie des fonctionnalités.
Fonctionnalité principale
Featureform fonctionne comme un registre de fonctionnalités virtuel, ce qui signifie qu'il ne stocke pas les données lui-même, mais orchestre et gère les définitions de fonctionnalités à travers les systèmes de stockage existants. Les utilisateurs définissent des fonctionnalités à l'aide de Python ou SQL, et la plateforme gère la transformation, la matérialisation et le service de ces fonctionnalités. Elle prend en charge les sources de données par lots et en streaming, permettant de calculer les fonctionnalités à partir de données historiques pour l'entraînement et à partir de données en temps réel pour l'inférence.
Le système introduit une API déclarative où les utilisateurs enregistrent des sources de données, définissent des transformations et créent des objets de fonctionnalités et d'ensembles d'entraînement. Cette approche permet le versionnage, le suivi de la lignée et la réutilisabilité des définitions de fonctionnalités. Featureform fournit également une API de service qui peut être intégrée aux pipelines d'entraînement de modèles et aux services d'inférence en ligne, garantissant que les mêmes valeurs de fonctionnalités sont utilisées dans les deux contextes.
Architecture et intégration
Featureform est conçu pour être agnostique à l'infrastructure, s'intégrant à des plateformes de données courantes telles que Amazon Web Services S3, Azure Blob Storage, Google Cloud Storage et diverses bases de données SQL. Il prend en charge des moteurs de calcul comme Spark et peut exécuter des transformations sur ces plateformes. L'architecture comprend un catalogue de métadonnées qui suit la provenance de chaque fonctionnalité, des données brutes à la prédiction du modèle.
La plateforme sépare le plan de contrôle, qui gère les définitions et les métadonnées, du plan de données, où les calculs réels ont lieu. Cette conception permet aux organisations de conserver les données dans leurs systèmes existants tout en obtenant une vue unifiée des actifs de fonctionnalités. Featureform offre également un mode de développement local pour tester et déboguer les définitions de fonctionnalités avant le déploiement.
Utilisation dans les pipelines d'apprentissage automatique
Featureform est couramment utilisé dans les pipelines de apprentissage automatique pour résoudre le problème de l'écart entre l'entraînement et le service, où les différences entre les données d'entraînement et d'inférence dégradent les performances du modèle. En garantissant que les définitions de fonctionnalités sont cohérentes et que le même code est utilisé pour le service par lots et en temps réel, la plateforme aide à maintenir la précision du modèle. Elle facilite également la réutilisation des fonctionnalités entre différents modèles, réduisant ainsi le travail d'ingénierie redondant.
Les équipes peuvent utiliser Featureform pour créer des ensembles d'entraînement qui combinent plusieurs fonctionnalités provenant de diverses sources, avec une gestion automatique des jointures et de la correction de la justesse temporelle. Cela est particulièrement utile pour les données de séries temporelles et des applications telles que la détection de fraude, les systèmes de recommandation et la maintenance prédictive. Les fonctionnalités de lignée de la plateforme aident au débogage et à la conformité réglementaire en montrant exactement comment chaque fonctionnalité a été dérivée.
Communauté et développement
En tant que projet open-source, Featureform dispose d'une communauté de contributeurs et d'utilisateurs. Le projet est hébergé sur GitHub, où la documentation, le suivi des problèmes et les directives de contribution sont disponibles. L'entreprise derrière Featureform propose également un support commercial et des services cloud gérés pour les entreprises qui nécessitent une fiabilité et un support supplémentaires. Le développement est actif, avec des versions régulières ajoutant de nouvelles intégrations, des améliorations de performances et des améliorations de convivialité.
Le projet fait partie de l'écosystème plus large des outils d'infrastructure d'intelligence artificielle, complétant les cadres d'orchestration et les registres de modèles. Son accent sur la gestion des fonctionnalités comble une lacune critique dans le cycle de vie de l'apprentissage automatique, et sa nature open-source permet aux organisations de personnaliser et d'étendre la plateforme pour répondre à leurs besoins spécifiques.