Hopsworksは、機械学習および人工知能プロジェクトのライフサイクル全体をサポートするために設計された、オープンソースのMLOpsプラットフォームおよびフィーチャーストアです。フィーチャーエンジニアリング、モデルトレーニング、デプロイメントのための統合環境を提供し、再現性とコラボレーションに重点を置いています。このプラットフォームは、2016年にスウェーデンのストックホルムで設立されたLogical Clocks ABによって開発され、金融、ヘルスケア、通信など、さまざまな業界の組織に採用されています。
このプラットフォームは、TensorFlow、PyTorch、scikit-learnなどの一般的な機械学習フレームワークと統合し、バッチおよびリアルタイムのフィーチャーパイプラインの両方をサポートしています。Hopsworksは、Apache SparkやApache Hopsなどの分散システム上に構築されており、スケーラブルなストレージと処理機能を提供します。また、チームがプロジェクト間でフィーチャーを共有および再利用できるようにするフィーチャーストアも含まれており、重複を減らし、モデルの一貫性を向上させます。
フィーチャーストア
Hopsworksフィーチャーストアは、機械学習フィーチャーの中央リポジトリであり、データサイエンティストがチームとフィーチャーを作成、管理、共有できるようにします。オフラインストレージとオンラインストレージの両方をサポートし、リアルタイム推論のための低レイテンシーな取得を可能にします。フィーチャーはバージョン管理され、メタデータでタグ付けできるため、リネージの追跡とデータ品質の確保が容易になります。フィーチャーストアはMLOpsワークフローの残りの部分と統合され、フィーチャーをトレーニングパイプラインとサービングエンドポイントで直接使用できます。
MLOps機能
Hopsworksは、モデルレジストリ、実験追跡、モデルサービングなど、包括的なMLOpsツールセットを提供します。モデルレジストリにより、チームはトレーニング済みモデルのバージョン管理と管理ができ、モデルのリネージとガバナンスをサポートします。実験追跡は、メトリクス、パラメータ、アーティファクトをキャプチャし、再現可能な実験を可能にします。デプロイメントに関しては、Hopsworksはバッチおよびオンラインサービングの両方を提供し、Amazon Web Services、Microsoft Azure、Google Cloudとの統合によるkubernetesベースのスケーリングをサポートしています。
オープンソースとコミュニティ
HopsworksはApache License 2.0の下でリリースされており、商用および非商用の両方の用途で自由に利用できます。オープンソースコミュニティはその開発に貢献しており、プラットフォームには公開ロードマップとドキュメントがあります。Logical Clocksは、ロールベースのアクセス制御、高可用性、サポートなどの追加機能を備えたエンタープライズ版も提供しています。コミュニティエディションは学術研究やスタートアップで広く使用されており、エンタープライズエディションは、より厳格なセキュリティとコンプライアンス要件を持つ大規模組織を対象としています。
ユースケース
Hopsworksは、不正検出、レコメンデーションシステム、予知保全など、さまざまな領域で適用されています。たとえば、金融サービス企業は、トランザクションデータからフィーチャーを作成し、Neural networkモデルをトレーニングし、リアルタイムスコアリングのためにデプロイすることで、Hopsworksを使用して不正検出モデルを構築する場合があります。ヘルスケアでは、Hopsworksは、電子健康記録からのフィーチャーを活用して、患者転帰の予測モデルの開発をサポートできます。バッチデータとストリーミングデータの両方を処理できるプラットフォームの能力は、リアルタイムの意思決定を必要とするアプリケーションに適しています。
アーキテクチャと統合
Hopsworksはマイクロサービスアーキテクチャで設計されており、フィーチャーストア、トレーニング、サービング、メタデータ管理のためのコンポーネントがあります。データ処理にはapache spark、ストレージにはhadoop、ワークフローオーケストレーションにはairflowと統合しています。プラットフォームは、フィーチャーおよびトレーニングコードを記述するためのpythonとscalaもサポートしています。実験追跡にはMLflowとの統合が利用可能であり、パイプラインオーケストレーションにはKubeflowとの統合があります。Hopsworksは、オンプレミスまたはクラウドにデプロイでき、dockerとkubernetesをサポートしています。
結論
Hopsworksは、フィーチャー管理とモデルライフサイクルの課題に対処する堅牢なMLOpsプラットフォームとして際立っています。そのオープンソースの性質と強力なフィーチャーストアにより、機械学習ワークフローを合理化したいデータサイエンスチームにとって貴重なツールとなっています。Artificial intelligenceの分野が進化し続けるにつれて、Hopsworksのようなプラットフォームは、Machine learningモデルを大規模に運用化する上で重要な役割を果たします。