Hopsworks는 기계 학습 및 인공 지능 프로젝트의 전체 수명 주기를 지원하도록 설계된 오픈 소스 MLOps 플랫폼이자 피처 스토어입니다. 피처 엔지니어링, 모델 훈련 및 배포를 위한 통합 환경을 제공하며, 재현성과 협업에 중점을 둡니다. 이 플랫폼은 2016년 스웨덴 스톡홀름에서 설립된 Logical Clocks AB가 개발했으며, 금융, 의료, 통신 등 다양한 산업의 조직에서 채택되었습니다.
이 플랫폼은 TensorFlow, PyTorch, scikit-learn과 같은 인기 있는 기계 학습 프레임워크와 통합되며, 배치 및 실시간 피처 파이프라인을 모두 지원합니다. Hopsworks는 Apache Spark 및 Apache Hops와 같은 분산 시스템 위에 구축되어 확장 가능한 스토리지 및 처리 기능을 제공합니다. 또한 팀이 프로젝트 간에 피처를 공유하고 재사용할 수 있는 피처 스토어를 포함하여 중복을 줄이고 모델 일관성을 개선합니다.
피처 스토어
Hopsworks 피처 스토어는 기계 학습 피처를 위한 중앙 저장소로, 데이터 과학자가 팀과 피처를 생성, 관리 및 공유할 수 있게 합니다. 오프라인 및 온라인 스토리지를 모두 지원하여 실시간 추론을 위한 저지연 검색을 가능하게 합니다. 피처는 버전 관리되며 메타데이터로 태그를 지정할 수 있어 계보 추적과 데이터 품질 보장이 용이합니다. 피처 스토어는 MLOps 워크플로우의 나머지 부분과 통합되어 훈련 파이프라인 및 서빙 엔드포인트에서 피처를 직접 사용할 수 있습니다.
MLOps 기능
Hopsworks는 모델 레지스트리, 실험 추적 및 모델 서빙을 포함한 포괄적인 MLOps 도구 세트를 제공합니다. 모델 레지스트리는 팀이 훈련된 모델을 버전 관리하고 관리할 수 있게 하며, 모델 계보 및 거버넌스를 지원합니다. 실험 추적은 메트릭, 매개변수 및 아티팩트를 캡처하여 재현 가능한 실험을 가능하게 합니다. 배포를 위해 Hopsworks는 배치 및 온라인 서빙을 모두 제공하며, Amazon Web Services, Microsoft Azure 및 Google Cloud와의 통합을 통한 쿠버네티스 기반 확장을 지원합니다.
오픈 소스 및 커뮤니티
Hopsworks는 Apache License 2.0으로 출시되어 상업적 및 비상업적 용도로 자유롭게 사용할 수 있습니다. 오픈 소스 커뮤니티가 개발에 기여하며, 플랫폼에는 공개 로드맵과 문서가 있습니다. Logical Clocks는 역할 기반 액세스 제어, 고가용성 및 지원과 같은 추가 기능을 제공하는 엔터프라이즈 버전도 제공합니다. 커뮤니티 에디션은 학술 연구와 스타트업에서 널리 사용되며, 엔터프라이즈 에디션은 더 엄격한 보안 및 규정 준수 요구 사항을 가진 대규모 조직을 대상으로 합니다.
사용 사례
Hopsworks는 사기 탐지, 추천 시스템 및 예측 유지보수를 포함한 다양한 분야에 적용되었습니다. 예를 들어, 금융 서비스 회사는 거래 데이터에서 피처를 생성하고, Neural network 모델을 훈련하며, 실시간 점수를 위한 배포를 통해 사기 탐지 모델을 구축하는 데 Hopsworks를 사용할 수 있습니다. 의료 분야에서 Hopsworks는 전자 건강 기록의 피처를 활용하여 환자 결과에 대한 예측 모델 개발을 지원할 수 있습니다. 이 플랫폼은 배치 및 스트리밍 데이터를 모두 처리할 수 있어 실시간 의사 결정이 필요한 애플리케이션에 적합합니다.
아키텍처 및 통합
Hopsworks는 피처 스토어, 훈련, 서빙 및 메타데이터 관리를 위한 구성 요소를 갖춘 마이크로서비스 아키텍처로 설계되었습니다. 데이터 처리를 위해 apache spark, 스토리지를 위해 hadoop, 워크플로우 오케스트레이션을 위해 airflow와 통합됩니다. 플랫폼은 피처 및 훈련 코드 작성을 위해 python과 scala를 지원합니다. 실험 추적을 위해 MLflow와의 통합이 가능하며, 파이프라인 오케스트레이션을 위해 Kubeflow가 제공됩니다. Hopsworks는 온프레미스 또는 클라우드에 배포할 수 있으며, docker와 kubernetes를 지원합니다.
결론
Hopsworks는 피처 관리 및 모델 수명 주기의 과제를 해결하는 강력한 MLOps 플랫폼으로 두드러집니다. 오픈 소스 특성과 강력한 피처 스토어는 기계 학습 워크플로우를 간소화하려는 데이터 과학 팀에게 귀중한 도구입니다. Artificial intelligence 분야가 계속 발전함에 따라 Hopsworks와 같은 플랫폼은 Machine learning 모델을 대규모로 운영화하는 데 중요한 역할을 합니다.