Featureformは、機械学習ワークフローのために設計されたオープンソースのフィーチャーストアである。機械学習モデルのトレーニングと実行に使用される入力変数であるフィーチャーを定義、管理、提供するための集中プラットフォームを提供する。このプロジェクトは、データウェアハウスやオブジェクトストレージなどの既存のデータインフラストラクチャ上で動作し、専用のデータベースを必要とせずに仮想フィーチャーストアを提供することで、フィーチャーエンジニアリングのライフサイクルを簡素化することを目指している。
2021年に設立されたFeatureformは、本番環境の機械学習システムにおけるフィーチャー管理の課題に対処するために作成された。同名の企業によって開発されており、その中核ソフトウェアはオープンソースライセンスで利用可能である。このプラットフォームは、データサイエンスおよび機械学習チームによって、コラボレーションの向上、トレーニングデータとサービングデータ間の一貫性の確保、フィーチャーエンジニアリングに費やす時間の削減に使用されている。
中核機能
Featureformは仮想フィーチャーストアとして動作し、データ自体を保存するのではなく、既存のストレージシステム全体でフィーチャー定義をオーケストレーションおよび管理する。ユーザーはPythonまたはSQLを使用してフィーチャーを定義し、プラットフォームはそれらのフィーチャーの変換、マテリアライゼーション、および提供を処理する。バッチおよびストリーミングデータソースをサポートしており、トレーニング用の履歴データと推論用のリアルタイムデータの両方からフィーチャーを計算できる。
このシステムは、ユーザーがデータソースを登録し、変換を定義し、フィーチャーおよびトレーニングセットオブジェクトを作成する宣言型APIを導入している。このアプローチにより、フィーチャー定義のバージョニング、リネージトラッキング、再利用が可能になる。Featureformはまた、モデルトレーニングパイプラインおよびオンライン推論サービスと統合できるサービングAPIを提供し、両方のコンテキストで同じフィーチャー値が使用されることを保証する。
アーキテクチャと統合
Featureformはインフラストラクチャに依存しないように構築されており、Amazon Web Services S3、Microsoft Azure Blob Storage、Google Cloud Storage、およびさまざまなSQLデータベースなどの一般的なデータプラットフォームと統合する。Sparkなどのコンピュートエンジンをサポートし、これらのプラットフォーム上で変換を実行できる。アーキテクチャには、生データからモデル予測までのすべてのフィーチャーの来歴を追跡するメタデータカタログが含まれている。
このプラットフォームは、定義とメタデータを管理するコントロールプレーンと、実際の計算が行われるデータプレーンを分離している。この設計により、組織はデータを既存のシステムに保持しながら、フィーチャー資産の統一されたビューを得ることができる。Featureformはまた、デプロイ前にフィーチャー定義をテストおよびデバッグするためのローカル開発モードも提供する。
機械学習パイプラインでの使用
Featureformは、トレーニングデータと推論データの違いがモデルパフォーマンスを低下させるトレーニング・サービングスキュー問題に対処するために、Machine learningパイプラインで一般的に使用される。フィーチャー定義が一貫しており、バッチおよびリアルタイムサービングの両方に同じコードが使用されることを保証することで、プラットフォームはモデルの精度を維持するのに役立つ。また、異なるモデル間でのフィーチャー再利用を促進し、冗長なエンジニアリング作業を削減する。
チームはFeatureformを使用して、さまざまなソースからの複数のフィーチャーを組み合わせたトレーニングセットを作成でき、自動結合およびポイントインタイムの正確性処理を処理する。これは、時系列データや、不正検出、レコメンデーションシステム、予測保守などのアプリケーションにとって特に価値がある。プラットフォームのリネージ機能は、各フィーチャーがどのように導出されたかを正確に示すことで、デバッグおよび規制コンプライアンスに役立つ。
コミュニティと開発
オープンソースプロジェクトとして、Featureformには貢献者とユーザーのコミュニティがある。このプロジェクトはGitHubでホストされており、ドキュメント、問題追跡、および貢献ガイドラインが利用可能である。Featureformの背後にある企業は、追加の信頼性とサポートを必要とするエンタープライズ向けに商用サポートおよびマネージドクラウドサービスも提供している。開発は活発であり、新しい統合、パフォーマンスの改善、および使いやすさの強化を追加する定期的なリリースがある。
このプロジェクトは、Artificial intelligenceインフラストラクチャツールのより広範なエコシステムの一部であり、オーケストレーションフレームワークおよびモデルレジストリを補完する。フィーチャー管理への焦点はMLライフサイクルの重要なギャップを埋め、そのオープンソースの性質により、組織はプラットフォームをカスタマイズおよび拡張して特定のニーズに適合させることができる。