データエンジニアリングは、データの収集と利用を可能にするデータシステムを構築するためのソフトウェアエンジニアリングのアプローチです。このデータは通常、その後の分析やデータサイエンスに使用され、多くの場合、機械学習を含みます。データを利用可能にするには、かなりの計算、ストレージ、およびデータ処理が必要です。データエンジニアは、組織が生データを実用的な洞察に変換できるようにするインフラストラクチャ、パイプライン、およびツールを設計および維持します。
この分野は、しばしばビッグデータと呼ばれる、大量のデータ量、速度、および多様性を処理する必要性から生まれました。これは、ソフトウェアエンジニアリング、データベース管理、および分散システムの原則を組み合わせて、信頼性が高く、スケーラブルで、コスト効率の高いデータプラットフォームを作成します。
歴史
データエンジニアリングのルーツは、データベース設計とデータ分析用ソフトウェアに焦点を当てた情報工学方法論（IEM）の概念とともに、1970年代から1980年代にさかのぼります。しばしばIEMの「父」と呼ばれるオーストラリア人のクライブ・フィンケルスタインは、1976年から1980年にかけて影響力のある記事を書き、ジェームズ・マーティンと共同でSavant Instituteのレポートを共著しました。チャールズ・M・リヒターは後にIEMの改訂を支援し、1983年から1987年にかけてユーザーデータソフトウェア製品を設計しました。
2000年代初頭、データとデータツールは通常、情報技術（IT）チームによって管理され、ビジネスユニット間の重複は限られていました。2010年代初頭には、インターネットとビッグデータの台頭により劇的な変化が見られました。FacebookやAirbnbなどの企業は、データインフラストラクチャに焦点を当てた新しい役割を説明するために「データエンジニア」という用語を使い始めました。Google、Facebook、Amazon、Apple、Microsoft、Netflixなどの主要企業は、従来のETLおよびストレージ技術から離れ、クラウドコンピューティングと、組織全体でのデータへのより広範で統合されたアプローチを採用しました。
中核コンポーネント
計算
高性能コンピューティングは、データの処理と分析に不可欠です。計算が操作とデータフローの有向グラフとして表現されるデータフロープログラミングは、広く普及しているアプローチです。一般的な実装にはApache SparkとTensorFlowが含まれ、後者は深層学習に特化しています。Differential/Timely Dataflowなどの最近のシステムは、より高い効率のためにインクリメンタルコンピューティングを使用します。
ストレージ
データストレージの選択は、データがどのように使用されるかに依存します。データエンジニアは、圧縮、パーティショニング、およびアーカイブを使用してコストを削減するために、ストレージと処理を最適化します。
- データベース: オンライントランザクション処理を必要とする構造化データには、ACID保証とSQLクエリを備えたリレーショナルデータベースが一般的です。NoSQLデータベースは、ACIDを犠牲にして水平スケーリングのために2010年代に人気を博しました。NewSQLデータベースは、水平スケーリングとACID保証の両方を提供することを目指しています。
- データウェアハウス: オンライン分析処理を必要とする構造化データには、データウェアハウスが大規模な分析、マイニング、およびAIをサポートします。データは多くの場合、データベースからウェアハウスに流れ、SQLまたはビジネスインテリジェンスツールを介してアクセスできます。
- データレイク: 構造化、半構造化、および非構造化データの大容量を保存、処理、および保護するための集中リポジトリ。オンプレミスまたはクラウドベースにすることができます。
- ファイル: 構造化されていないデータは、ファイルシステム、ブロックストレージ、またはオブジェクトストレージにファイルとして保存される場合があり、後者はUUIDなどのメタデータとキーを使用します。
管理
Airflowなどのワークフロー管理システムは、多くの場合、有向非巡回グラフ（DAG）として表現されるデータタスクの指定、作成、および監視を支援します。
ライフサイクル
ビジネス計画
ビジネス目標は、戦略的、戦術的、および運用計画で捉えられます。データエンジニアリングは、フィードバックと誤解の早期修正を可能にする透過的なデータシステムを提供することにより、これらの計画をサポートします。
システム設計
データシステムの設計には、データプラットフォームのアーキテクチャとデータストアの設計が含まれ、スケーラビリティ、信頼性、およびコストを考慮します。
データモデリング
データモデリングは、データと関係を記述する抽象モデルを生成し、分析とアプリケーションのためのデータ構造化に不可欠です。
役割
データエンジニア
データエンジニアは、組織全体のデータフローを管理するためにビッグデータETLパイプラインを作成するソフトウェアエンジニアです。彼らは、データの収集、変換、および保存のためのインフラストラクチャを構築および維持し、データサイエンティストやアナリストが洞察を引き出せるようにします。データエンジニアは、Apache SparkやTensorFlowなどのツール、およびAmazon Web Services、Microsoft Azure、Google Cloudなどのクラウドプラットフォームを扱います。
データエンジニアリングは、機械学習および人工知能と密接に関連しており、モデルのトレーニングとデプロイのためのデータ基盤を提供します。また、データサイエンスやビジネスインテリジェンスとも交差し、データがアクセス可能で、信頼性が高く、安全であることを保証します。
ツールとテクノロジー
データエンジニアは、計算、ストレージ、および管理のためにさまざまなツールを使用します。一般的な計算フレームワークには、Apache SparkとTensorFlowが含まれます。ストレージソリューションは、PostgreSQLなどのリレーショナルデータベースから、MongoDBなどのNoSQLシステム、Amazon S3などのクラウドオブジェクトストレージまで多岐にわたります。Apache Airflowなどのワークフローオーケストレーションツールは、複雑なパイプラインを管理します。クラウドプロバイダーは、特殊な計算用のAWS Trainiumや、スケーラブルなストレージと処理用のAzureやGoogle Cloudなどのマネージドサービスを提供します。
課題とベストプラクティス
データエンジニアリングは、データ品質、スケーラビリティ、およびコスト管理などの課題に直面しています。ベストプラクティスには、堅牢なデータ検証の実装、インクリメンタル処理の使用、およびフォールトトレランスの設計が含まれます。データガバナンスとセキュリティは、特にデータプライバシー規制の増加に伴い、重要です。データ量が増え続けるにつれて、データエンジニアリングは、新しいテクノロジーと方法論で進化するダイナミックな分野であり続けます。