Feast는 기계 학습 워크플로우를 위해 설계된 오픈소스 피처 스토어이다. 이는 기계 학습 모델이 사용하는 입력 변수인 피처를 훈련과 온라인 추론 전반에 걸쳐 정의, 관리, 제공하기 위한 중앙 집중식 플랫폼을 제공한다. 피처 저장 및 접근을 표준화함으로써 Feast는 피처 엔지니어링의 운영 오버헤드를 줄이고 모델 훈련 중 사용되는 피처와 프로덕션에서 제공되는 피처 간의 일관성을 보장하는 것을 목표로 한다.
Feast는 처음에 Gojek에 의해 개발되었으며 2019년에 오픈소스 프로젝트로 처음 출시되었다. 이후 Linux Foundation의 AI & Data 산하 프로젝트가 되었으며, Feast의 원래 창립자들이 공동 설립한 Tecton과 같은 회사들의 기여를 받았다. 프로젝트 이름은 "Feature Store"의 약어로, 핵심 목적을 반영한다.
핵심 개념
Feast는 기계 학습 피처를 구조화된 프레임워크로 구성한다. 주요 엔티티는 다음과 같다:
- 피처 뷰: 공통 데이터 소스와 시간 창을 공유하는 피처의 논리적 그룹. 각 피처 뷰는 스키마, 소스 데이터, 피처 생성에 적용되는 변환을 정의한다.
- 엔티티: 사용자 ID 또는 거래 ID와 같은 피처의 대상을 식별하는 키. 엔티티는 피처를 특정 데이터 포인트에 연결한다.
- 피처 서비스: 특정 모델 또는 애플리케이션에 대한 피처를 제공하기 위해 함께 사용할 수 있는 피처 뷰의 모음.
- 데이터 소스: BigQuery, Redshift 또는 Kafka와 같은 기본 스토리지 시스템으로, 피처를 계산하기 위해 원시 데이터를 읽어온다.
아키텍처 및 구성 요소
Feast의 아키텍처는 피처 수명 주기를 관리하기 위해 함께 작동하는 여러 핵심 구성 요소로 구성된다:
- Feast Core: 피처 뷰, 엔티티 및 데이터 소스에 대한 메타데이터를 저장하는 중앙 레지스트리. 피처 정의의 시스템 오브 레코드 역할을 한다.
- Feast Serving: 온라인 추론을 위해 피처에 대한 저지연 접근을 제공하는 서비스. 온라인 스토어에서 피처를 검색하여 모델 서빙 시스템에 반환한다.
- Feast Job Service: 배치 및 스트리밍 데이터 소스에서 피처 계산을 관리하고 오프라인 및 온라인 스토어를 채우는 구성 요소.
- 오프라인 스토어: 일반적으로 훈련 데이터셋에 사용되는 과거 피처 데이터용 스토리지 시스템. 데이터 누출을 방지하기 위해 시점 일치 조인을 지원한다.
- 온라인 스토어: Redis 또는 DynamoDB와 같은 빠른 접근 스토리지 시스템으로, 온라인 예측을 위해 실시간으로 피처를 제공한다.
사용 및 워크플로우
Feast는 일반적으로 다음 워크플로우에서 사용된다:
- 피처 정의: 데이터 과학자 또는 엔지니어가 Python 또는 YAML 구성 파일을 사용하여 피처 뷰와 엔티티를 정의한다.
- 적용: 정의가 Feast 레지스트리에 적용되어 메타데이터를 업데이트한다.
- 구체화: Feast가 데이터 소스에서 피처 값을 계산하고 오프라인 및 온라인 스토어에 저장한다.
- 훈련: 과거 피처가 오프라인 스토어에서 검색되어 훈련 데이터셋을 생성한다.
- 제공: 추론 중에 모델 서빙 시스템이 Feast Serving을 통해 온라인 스토어를 쿼리하여 최신 피처 값을 얻는다.
이 워크플로우는 팀이 여러 모델에서 피처를 재사용할 수 있게 하고 훈련과 프로덕션에서 동일한 피처 정의가 사용되도록 보장한다.
생태계 및 통합
Feast는 다양한 데이터 및 기계 학습 도구와 통합된다. 오프라인 스토어로 Google Cloud BigQuery, Amazon Web Services Redshift, Microsoft Azure Synapse와 같은 클라우드 데이터 웨어하우스를 지원한다. 온라인 제공을 위해 Redis, DynamoDB 또는 Firestore를 사용할 수 있다. Feast는 또한 TensorFlow 및 PyTorch와 같은 인기 있는 기계 학습 프레임워크와 작동하며 확장성을 위해 Kubernetes에 배포할 수 있다.
Feast는 종종 Tecton 및 Hopsworks와 같은 다른 피처 스토어와 비교되지만, 오픈소스이고 벤더 중립적이라는 점에서 차별화된다. 이는 벤더 종속을 피하고 피처 인프라를 완전히 제어하려는 조직에게 인기 있는 선택이 된다.
커뮤니티 및 채택
Feast는 기계 학습 커뮤니티에서 상당한 채택을 얻었다. Gojek, Walmart 및 Deliveroo와 같은 회사들이 추천 및 개인화 시스템을 구동하기 위해 이를 사용한다. 이 프로젝트는 GitHub에서 활발한 커뮤니티를 보유하고 있으며, 다양한 개발자들의 정기적인 릴리스와 기여가 이루어지고 있다. Feast의 문서와 튜토리얼은 기계 학습 커뮤니티에서 피처 관리의 표준 접근 방식으로 널리 참조된다.
2024년 현재 Feast는 스트리밍 피처에 대한 더 나은 지원과 대규모 언어 모델 워크플로우와의 향상된 통합을 포함한 새로운 기능과 개선 사항으로 계속 진화하고 있다. 더 많은 조직이 ML 운영을 간소화하기 위해 피처 스토어를 채택함에 따라 인공지능 생태계에서의 역할은 더욱 성장할 것으로 예상된다.