데이터 엔지니어링은 데이터의 수집과 사용을 가능하게 하는 데이터 시스템을 구축하는 소프트웨어 엔지니어링 접근 방식입니다. 이러한 데이터는 일반적으로 후속 분석과 머신러닝을 자주 포함하는 데이터 과학에 사용됩니다. 데이터를 사용 가능하게 만들려면 상당한 컴퓨팅, 스토리지 및 데이터 처리가 필요합니다. 데이터 엔지니어는 조직이 원시 데이터를 실행 가능한 인사이트로 변환할 수 있도록 하는 인프라, 파이프라인 및 도구를 설계하고 유지 관리합니다.
이 분야는 종종 빅데이터라고 불리는 대규모의 데이터 양, 속도 및 다양성을 처리해야 할 필요성에서 등장했습니다. 이는 소프트웨어 엔지니어링, 데이터베이스 관리 및 분산 시스템의 원칙을 결합하여 안정적이고 확장 가능하며 비용 효율적인 데이터 플랫폼을 만듭니다.
역사
데이터 엔지니어링의 뿌리는 데이터베이스 설계와 데이터 분석용 소프트웨어에 초점을 둔 정보 엔지니어링 방법론(IEM) 개념과 함께 1970년대와 1980년대로 거슬러 올라갑니다. IEM의 "아버지"라고 자주 불리는 호주인 클라이브 핀켈슈타인은 1976년과 1980년 사이에 영향력 있는 기사를 썼고, 제임스 마틴과 함께 사반트 연구소 보고서를 공동 저술했습니다. 찰스 M. 리히터는 나중에 IEM을 개정하고 1983년부터 1987년까지 사용자 데이터 소프트웨어 제품을 설계하는 데 기여했습니다.
2000년대 초반에는 데이터와 데이터 도구가 일반적으로 정보 기술(IT) 팀에 의해 관리되었으며, 비즈니스 부서와의 겹침이 제한적이었습니다. 2010년대 초반에는 인터넷과 빅데이터의 부상과 함께 극적인 변화가 일어났습니다. 페이스북과 에어비앤비 같은 기업이 데이터 인프라에 초점을 맞춘 새로운 역할을 설명하기 위해 "데이터 엔지니어"라는 용어를 사용하기 시작했습니다. 구글, 페이스북, 아마존, 애플, 마이크로소프트, 넷플릭스와 같은 주요 기업은 전통적인 ETL과 스토리지 기술에서 벗어나 클라우드 컴퓨팅과 조직 전반의 데이터에 대한 더 광범위하고 통합된 접근 방식을 채택했습니다.
핵심 구성 요소
컴퓨팅
고성능 컴퓨팅은 데이터 처리와 분석에 필수적입니다. 연산의 방향 그래프로 표현되는 데이터플로우 프로그래밍은 널리 사용되는 접근 방식입니다. 인기 있는 구현으로는 Apache Spark와 딥러닝 특화된 TensorFlow가 있습니다. 차동/시기적절 데이터플로우 같은 최신 시스템은 증분 컴퓨팅을 사용하여 더 높은 효율성을 제공합니다.
데이터 스토리지
데이터 스토리지 선택은 데이터가 어떻게 사용되는지에 따라 달라집니다. 데이터 엔지니어는 압축, 분할 및 아카이빙을 사용하여 스토리지와 처리를 최적화하여 비용을 절감합니다.
- 데이터베이스: 온라인 트랜잭션 처리를 요구하는 구조화된 데이터의 경우 ACID 보장과 SQL 쿼리를 갖춘 관계형 데이터베이스가 일반적입니다. NoSQL 데이터베이스는 2010년대에 ACID를 희생하면서 수평 확장으로 인기를 얻었습니다. NewSQL 데이터베이스는 수평 확장과 ACID 보장을 모두 제공하는 것을 목표로 합니다.
- 데이터 하우스: 온라인 분석 처리를 요구하는 구조화된 데이터의 경우, 데이터 하우스은 대규모 분석, 마이닝 및 인공지능을 지원합니다. 데이터는 종종 데이터베이스에서 하우스으로 흐르며, SQL 또는 비즈니스 인텔라전 도구를 통해 접근할 수 있습니다.
- 데이터 레이크: 구조화된, 반구조화된, 비구조화된 대규모 데이터 볼륨을 저장, 처리, 보호하는 중앙화된 저장소로, 자체 서버에서 또는 클라우드에 구성될 수 있습니다.
- 파일: 덜 구조화된 데이터는 파일 시스템, 블록 스토리지 또는 개체 스토리지에 파일로 저장될 수 있으며, 후자는 UUID 같은 메타데이터와 키를 사용합니다.
관리
Airflow와 같은 워크플로 관리 시스템은 종종 방향 비순환 그래프(DAG)로 표현되는 데이터 작업을 지정, 생성, 모니터링하는 데 도움이 됩니다.
라이프사이클
비즈니스 계획
비즈니스 목표는 전략적, 전술적, 운영 계획에 포착됩니다. 데이터 엔지니어링은 투명한 데이터 시스템을 제공하여 비피드백과 오해의 초기 교정을 가능하게 함으로써 이러한 계획을 지원합니다.
시스템 설계
데이터 시스템 설계는 확장성, 신뢰성, 코스트를 고려하여 데이터 플랫폼을 구축하고 데이터 저장을 설계하는 작업을 포함합니다.
데이터 모델링
데이터 모델링은 데이터와 관계를 설명하는 추상적 모델을 생성하며, 분석과 애플리케이션을 위해 데이터를 구조화하는 데 필수적입니다.
역할
데이터 엔지니어
데이터 엔지니어는 데이터 흐름을 조직을 통해 관리하는 대규모 데이터 ETL 파이프라인을 만드는 소프트웨어 엔지니어입니다. 그들은 데이터 과학자와 분석가가 인사이트를 도출할 수 있도록 데이터를 수집, 변환, 저장하는 인프라를 구축하고 유지합니다. 데이터 엔지니어는 아파치 스파크, 텐서플로우와 같은 도구 및 아마존 웹 서비스, 마이크로소프트 애저, 구글 클라우드와 같은 클라우드 플랫폼을 사용합니다.
데이터 엔지니어링은 머신러닝과 인공지능과 밀접한 관련이 있으며, 모델을 훈련하고 배포하기 위한 데이터 기반을 제공합니다. 또한 데이터 과학과 비즈니스 인텔라전스와 교차하며, 데이터가 접근 가능하고, 신뢰할 수 있으며, 보안된다는 것을 보장합니다.
도구 및 기술
데이터 엔지니어는 컴퓨팅, 스토리지, 관리를 위해 다양한 도구를 사용합니다. 인기 있는 컴페인 프레임워크에는 아파스 스파크와 텐서플로우가 포함됩니다. 스토리지 솔루션은 PostgreSQL과 같은 관계형 데이터베이스부터 MongoDB와 같은 NoSQL 시스템, Amazon S3와 같은 클라우드 객체 스토리지에 이릅니다. 워크플로 오케스트레이션 도구인 아파스 에어플로우는 복잡한 파이프라인을 관리합니다. 클라우드 공급자는 AWS 트레이니움과 같은 특화된 컴퓨팅, 그리고 애저와 구글 클라우드와 같은 확장 가능한 스토리지 및 처리를 위한 서비스를 제공합니다.
과제와 모범 사례
데이터 엔지니어링은 데이터 품질, 확장성, 비용 관리와 같은 과제를 직면합니다. 모범 사례는 견고한 데이터 검증 구현, 증분 처리 사용, 장애 허용 설계를 포함합니다. 데이터 관리 및 보안은 특히 증가하는 데이터 규정에 비추어 중요합니다. 데이터 볼륨이 계속 커지면서 데이터 엔지니어링은 새로운 기술과 방법론으로 진화하는 역동적인 분야로 남아 있습니다.