Great Expectations는 데이터 품질 관리 및 검증을 위한 오픈소스 라이브러리로, 데이터 엔지니어링 및 과학 팀이 데이터 파이프라인에 대한 신뢰를 구축하도록 돕기 위해 설계되었습니다. 이 프레임워크는 선언적 접근 방식을 사용하여 사용자가 데이터셋의 속성에 대한 사람이 읽을 수 있는 주장인 "기대치(expectations)"를 정의하고 이러한 규칙에 대해 데이터를 검증할 수 있게 합니다. 또한 주요 데이터 플랫폼 및 워크플로우와 통합되어 수집, 변환, 저장의 다양한 단계에서 데이터를 테스트하는 통합 레이어를 제공합니다. 2018년에 처음 출시된 Great Expectations는 현대 데이터 관측 가능성의 초석이 되었으며, 전담 커뮤니티와 Great Expectations Labs, Inc.라는 회사에 의해 유지 관리되고 있습니다.
이 프레임워크는 기대치(Expectations), 검증 결과(Validation Results), 데이터 문서(Data Docs), 및 체크포인트(Checkpoints)라는 몇 가지 핵심 개념을 중심으로 구축되었습니다. 기대치는 "열 값이 고유하다" 또는 "null 비율이 5% 미만이다"와 같은 데이터에 대한 검증 가능한 주장입니다. 이들은 Python 클래스로 구현되며, 데이터셋을 집합적으로 프로파일링하는 기대치 스위트(Expectation Suites)로 결합될 수 있습니다. 검증 결과는 특정 데이터 배치에 대해 스위트를 실행한 결과를 캡처하며, 기대치별 통과/실패 상태 및 상세 통계를 포함합니다. 데이터 문서는 이러한 결과를 HTML 페이지로 렌더링하는 자동 생성된 사람이 읽을 수 있는 보고서로, 비기술적 이해관계자도 품질 문제에 접근할 수 있게 합니다. 체크포인트는 검증 프로세스를 조정하여 모든 것을 연결하고, 실패 시 알림 또는 데이터 정리와 같은 작업을 선택적으로 트리거합니다.
아키텍처 및 통합
Great Expectations는 데이터베이스에 구애받지 않도록 설계되었으며 다양한 데이터 백엔드를 지원합니다. PostgreSQL, MySQL, Snowflake와 같은 SQL 데이터베이스와 Redshift 및 BigQuery와 같은 데이터 웨어하우스에 대한 기본 지원이 있습니다. 이 프레임워크는 Pandas DataFrames, Spark DataFrames, Parquet 파일과 같은 파일 기반 시스템에도 연결됩니다. 이는 Pandas, Spark, SQLAlchemy용 백엔드를 갖춘 플러그 가능한 실행 엔진 아키텍처를 통해 달성됩니다. 이 라이브러리는 프로그래밍 방식 사용을 위한 Python API와 빠른 설정 및 구성을 위한 CLI를 제공하며, 최신 버전에서는 프로젝트 구성을 관리하고 메타데이터를 저장하는 Data Context 객체를 도입했습니다.
주요 기능 중 하나는 프로파일링이라는 프로세스를 통해 기대치를 자동으로 생성하는 기능입니다. 데이터 샘플에서 프로파일러를 실행하면 프레임워크는 관찰된 통계(예: 열 유형, 값 분포, 누락 값 개수)를 기반으로 합리적인 기대치를 제안할 수 있습니다. 이는 새 데이터셋을 온보딩할 때 수동 작업을 크게 줄여줍니다. 또한 이 프레임워크는 사용자 정의 기대치를 지원하여 팀이 도메인별 규칙에 대한 자체 검증기를 작성할 수 있게 하며, 전용 운영자를 통해 Airflow, Prefect, Dagster와 같은 워크플로우 스케줄러와 통합됩니다
워크플로우 및 사용 패턴
일반적인 배포에서 데이터 엔지니어는 프로젝트의 기대치 저장소, 검증 결과 저장소, 데이터 문서 사이트를 정의하는 Data Context를 인스턴스화합니다. 그런 다음 특정 데이터베이스 테이블이나 파일을 가리키는 Data Source를 생성합니다. 기대치는 수동으로 작성되거나 프로파일링을 통해 생성됩니다. 데이터 배치가 요청되고 Checkpoint를 통과하여 검증을 실행하고 결과를 저장합니다. 검증이 실패하면 프레임워크는 Slack, 이메일 또는 기타 채널을 통해 알림을 트리거하여 데이터 품질 회귀에 대한 신속한 대응을 가능하게 합니다. 데이터 문서는 각 검사 실행 후 자동으로 업데이트되는 데이터의 예상 동작에 대한 살아있는 문서 역할을 합니다
이 프레임워크는 또한 소프트웨어 개발의 단위 테스트와 유사한 테스트 접근 방식을 가능하게 합니다. 데이터를 확인하는 코드를 작성하는 대신 엔지니어는 가정을 사전에 선언합니다. 절차적 검증에서 선언적 주장으로의 이러한 전환은 유지 관리성과 명확성으로 인해 호평을 받았습니다. 팀은 기대치 스위트를 버전 관리하고 CI/CD 파이프라인에서 사용하여 잘못된 데이터가 프로덕션에 도달하는 것을 방지할 수 있습니다. 이 라이브러리의 광범위한 Python 생태계와의 연결은 탐색적 분석을 위한 Jupyter 노트북 및 모델 성능에 데이터 품질이 중요한 Machine learning 파이프라인과 같은 도구와 함께 사용될 수 있음을 의미합니다
커뮤니티 및 생태계
이 프로젝트는 Apache-2.0 라이선스 하에 GitHub에서 호스팅되어 상업적 사용이 무료로 유지되도록 보장합니다. 핵심 유지 관리자들은 새로운 기대치를 개발하고, 백엔드 지원을 개선하며, 문서를 작성하는 전 세계 기여자 커뮤니티와 함께합니다. 2024년 기준으로 이 프레임워크는 3천만 회 이상 다운로드되었으며, Artificial intelligence 및 데이터 인프라 분야의 잘 알려진 기술 회사를 포함한 수천 개 조직에서 사용되고 있습니다. 이 프로젝트 뒤에 있는 회사는 James Campbell과 Alex Gessner가 설립했으며, 협업 작성 및 역할 기반 액세스 제어와 같은 추가 기능을 갖춘 상업적 지원 및 엔터프라이즈 버전을 제공합니다
데이터 및 AI 응용 분야
Machine learning에서 데이터 품질의 중요성이 커지면서 Great Expectations는 현대 데이터 스택에서 중요한 도구로 자리 잡았습니다. Deep learning 및 Generative AI 프로젝트에서는 모델이 대규모 데이터셋으로 훈련되므로, 사소한 이상 징후라도 편향된 결과나 성능 저하로 이어질 수 있습니다. 이 프레임워크를 통해 데이터 과학 팀은 훈련 및 평가 데이터셋을 검증하여 Neural network 훈련을 위해 모델에 공급하기 전에 일관성과 무결성을 보장할 수 있습니다. 또한 프로덕션 추론 시스템의 모니터링 레이어 역할을 하여 들어오는 특징 벡터가 예상 분포를 준수하는지 확인합니다. 이러한 사전 예방적 접근 방식은 배포된 애플리케이션에서의 조용한 실패를 방지하는 데 도움이 되며, 이는 금융 및 의료와 같은 규제 산업에서 특히 중요합니다
또한 Great Expectations는 데이터 관측 가능성 관행과 겹치며, 신선도, 볼륨, 스키마 변경을 추적하는 도구를 보완합니다. 생산자와 소비자 간의 데이터 계약을 정의하는 표준화된 방법을 제공함으로써 데이터 엔지니어링 및 분석 팀 간의 협업을 촉진합니다. 이 프레임워크의 Amazon Web Services, Microsoft Azure, Google Cloud와 같은 클라우드 플랫폼과의 통합 기능은 멀티 클라우드 또는 하이브리드 아키텍처를 가진 조직을 위한 이식 가능한 솔루션으로 만듭니다. 데이터 볼륨이 증가하고 파이프라인이 더 복잡해짐에 따라, 이와 같은 프레임워크는 신뢰할 수 있는 데이터 운영을 위한 필수 인프라로 점점 더 간주되고 있습니다.