Featureform은 머신러닝 워크플로우를 위해 설계된 오픈소스 피처 스토어이다. 머신러닝 모델을 훈련하고 실행하는 데 사용되는 입력 변수인 피처를 정의, 관리, 제공하기 위한 중앙 집중식 플랫폼을 제공한다. 이 프로젝트는 데이터 웨어하우스나 객체 스토리지와 같은 기존 데이터 인프라 위에서 작동할 수 있는 가상 피처 스토어를 제공하여 별도의 전용 데이터베이스 없이도 피처 엔지니어링 수명 주기를 단순화하는 것을 목표로 한다.
2021년에 설립된 Featureform은 프로덕션 머신러닝 시스템에서의 피처 관리 문제를 해결하기 위해 만들어졌다. 같은 이름의 회사에서 개발했으며, 핵심 소프트웨어는 오픈소스 라이선스로 제공된다. 이 플랫폼은 데이터 과학 및 머신러닝 팀이 협업을 개선하고, 훈련 데이터와 서빙 데이터 간의 일관성을 보장하며, 피처 엔지니어링에 소요되는 시간을 줄이는 데 사용된다.
핵심 기능
Featureform은 가상 피처 스토어로 작동한다. 즉, 데이터 자체를 저장하지 않고 기존 스토리지 시스템 전반에 걸쳐 피처 정의를 조정하고 관리한다. 사용자는 Python이나 SQL을 사용하여 피처를 정의하며, 플랫폼은 해당 피처의 변환, 구체화, 제공을 처리한다. 배치 및 스트리밍 데이터 소스를 지원하므로 훈련용 과거 데이터와 추론용 실시간 데이터에서 피처를 계산할 수 있다.
이 시스템은 사용자가 데이터 소스를 등록하고, 변환을 정의하며, 피처 및 훈련 세트 객체를 생성할 수 있는 선언적 API를 도입한다. 이러한 접근 방식은 피처 정의의 버전 관리, 계보 추적, 재사용성을 가능하게 한다. Featureform은 또한 모델 훈련 파이프라인 및 온라인 추론 서비스와 통합할 수 있는 서빙 API를 제공하여 두 상황에서 동일한 피처 값이 사용되도록 보장한다.
아키텍처 및 통합
Featureform은 인프라에 구애받지 않도록 설계되었으며, Amazon Web Services S3, Microsoft Azure Blob Storage, Google Cloud Storage 및 다양한 SQL 데이터베이스와 같은 일반적인 데이터 플랫폼과 통합된다. Spark와 같은 컴퓨팅 엔진을 지원하며 이러한 플랫폼에서 변환을 실행할 수 있다. 아키텍처에는 원시 데이터부터 모델 예측까지 모든 피처의 출처를 추적하는 메타데이터 카탈로그가 포함된다.
플랫폼은 정의와 메타데이터를 관리하는 컨트롤 플레인과 실제 계산이 발생하는 데이터 플레인을 분리한다. 이 설계를 통해 조직은 기존 시스템에 데이터를 유지하면서 피처 자산에 대한 통합된 관점을 얻을 수 있다. Featureform은 또한 배포 전에 피처 정의를 테스트하고 디버깅하기 위한 로컬 개발 모드를 제공한다.
머신러닝 파이프라인에서의 사용
Featureform은 Machine learning 파이프라인에서 훈련 데이터와 추론 데이터 간의 차이가 모델 성능을 저하시키는 훈련-서빙 편향 문제를 해결하는 데 일반적으로 사용된다. 피처 정의가 일관되고 배치 및 실시간 서빙에 동일한 코드가 사용되도록 보장함으로써 플랫폼은 모델 정확도를 유지하는 데 도움을 준다. 또한 여러 모델에 걸친 피처 재사용을 촉진하여 중복 엔지니어링 작업을 줄인다.
팀은 Featureform을 사용하여 다양한 소스의 여러 피처를 결합한 훈련 세트를 만들 수 있으며, 자동 조인 및 시점 정확성 처리를 지원한다. 이는 시계열 데이터와 사기 탐지, 추천 시스템, 예측 유지보수와 같은 애플리케이션에 특히 유용하다. 플랫폼의 계보 기능은 각 피처가 어떻게 파생되었는지 정확히 보여줌으로써 디버깅 및 규정 준수에 도움을 준다.
커뮤니티 및 개발
오픈소스 프로젝트로서 Featureform에는 기여자와 사용자 커뮤니티가 있다. 프로젝트는 GitHub에서 호스팅되며 문서, 이슈 추적, 기여 지침이 제공된다. Featureform을 운영하는 회사는 추가적인 안정성과 지원이 필요한 기업을 위해 상용 지원 및 관리형 클라우드 서비스도 제공한다. 개발은 활발히 진행 중이며, 정기적인 릴리스를 통해 새로운 통합, 성능 개선, 사용성 향상이 추가된다.
이 프로젝트는 Artificial intelligence 인프라 도구의 광범위한 생태계의 일부로, 오케스트레이션 프레임워크와 모델 레지스트리를 보완한다. 피처 관리에 대한 초점은 ML 수명 주기의 중요한 격차를 메우며, 오픈소스 특성 덕분에 조직은 플랫폼을 자체 요구에 맞게 사용자 정의하고 확장할 수 있다.