L'ingénierie des données est une approche d'ingénierie logicielle pour construire des systèmes de données qui permettent la collecte et l'utilisation des données. Ces données sont généralement utilisées pour une analyse ultérieure et la science des données, ce qui implique souvent l'apprentissage automatique. Rendre les données utilisables nécessite des ressources informatiques, de stockage et de traitement de données substantielles. Les ingénieurs de données conçoivent et maintiennent l'infrastructure, les pipelines et les outils qui permettent aux organisations de transformer des données brutes en informations exploitables.
Ce domaine est né du besoin de gérer des volumes, des vitesses et des variétés de données massives, souvent appelées big data. Il combine des principes de l'ingénierie logicielle, de la gestion de bases de données et des systèmes distribués pour créer des plateformes de données fiables, évolutives et rentables.
Histoire
Les racines de l'ingénierie des données remontent aux années 1970 et 1980 avec le concept de méthodologie d'ingénierie de l'information (IEM), qui se concentrait sur la conception de bases de données et les logiciels d'analyse de données. L'Australien Clive Finkelstein, souvent appelé le « père » de l'IEM, a écrit des articles influents entre 1976 et 1980 et a co-écrit un rapport de l'Institut Savant avec James Martin. Charles M. Richter a ensuite contribué à la refonte de l'IEM et à la conception du produit logiciel de données utilisateur de 1983 à 1987.
Au début des années 2000, les données et les outils de données étaient généralement gérés par les équipes informatiques, avec un chevauchement limité entre les unités commerciales. Le début des années 2010 a vu un changement spectaculaire avec l'essor d'Internet et du big data. Des entreprises comme Facebook et Airbnb ont commencé à utiliser le terme « ingénieur de données » pour décrire un nouveau rôle axé sur l'infrastructure de données. De grandes entreprises telles que Google, Facebook, Amazon, Apple, Microsoft et Netflix ont abandonné les techniques traditionnelles d'ETL et de stockage, adoptant le cloud computing et une approche plus large et plus intégrée des données à travers l'organisation.
Composants principaux
Calcul
Le calcul haute performance est essentiel pour traiter et analyser les données. La programmation par flux de données, où le calcul est représenté comme un graphe orienté d'opérations et de flux de données, est une approche répandue. Les implémentations populaires incluent Apache Spark et TensorFlow, ce dernier étant spécifique à l'apprentissage profond. Des systèmes plus récents comme Differential/Timely Dataflow utilisent le calcul incrémental pour une plus grande efficacité.
Stockage
Les choix de stockage des données dépendent de la manière dont les données seront utilisées. Les ingénieurs de données optimisent le stockage et le traitement pour réduire les coûts en utilisant la compression, le partitionnement et l'archivage.
- Bases de données : Pour les données structurées nécessitant un traitement transactionnel en ligne, les bases de données relationnelles avec garanties ACID et requêtes SQL sont courantes. Les bases de données NoSQL ont gagné en popularité dans les années 2010 pour la mise à l'échelle horizontale, sacrifiant ACID. Les bases de données NewSQL visent à fournir à la fois une mise à l'échelle horizontale et des garanties ACID.
- Entrepôts de données : Pour les données structurées nécessitant un traitement analytique en ligne, les entrepôts de données prennent en charge l'analyse à grande échelle, l'exploration et l'IA. Les données circulent souvent des bases de données vers les entrepôts, accessibles via SQL ou des outils de business intelligence.
- Lacs de données : Référentiels centralisés pour stocker, traiter et sécuriser de grands volumes de données structurées, semi-structurées et non structurées. Ils peuvent être sur site ou dans le cloud.
- Fichiers : Les données moins structurées peuvent être stockées sous forme de fichiers dans des systèmes de fichiers, du stockage par blocs ou du stockage d'objets, ce dernier utilisant des métadonnées et des clés comme les UUID.
Gestion
Les systèmes de gestion de flux de travail comme Airflow aident à spécifier, créer et surveiller les tâches de données, souvent représentées sous forme de graphes acycliques dirigés (DAG).
Cycle de vie
Planification commerciale
Les objectifs commerciaux sont capturés dans des plans stratégiques, tactiques et opérationnels. L'ingénierie des données soutient ces plans en fournissant des systèmes de données transparents qui permettent un retour d'information et une correction précoce des erreurs de communication.
Conception de systèmes
La conception de systèmes de données implique l'architecture de plateformes de données et la conception de magasins de données, en tenant compte de l'évolutivité, de la fiabilité et du coût.
Modélisation des données
La modélisation des données produit un modèle abstrait décrivant les données et leurs relations, essentiel pour structurer les données en vue de leur analyse et de leur application.
Rôles
Ingénieur de données
Un ingénieur de données est un ingénieur logiciel qui crée des pipelines ETL big data pour gérer le flux de données à travers une organisation. Il construit et maintient l'infrastructure pour la collecte, la transformation et le stockage des données, permettant aux scientifiques et analystes de données d'obtenir des informations. Les ingénieurs de données travaillent avec des outils comme Apache Spark, TensorFlow et des plateformes cloud telles que Amazon Web Services, Microsoft Azure et Google Cloud.
L'ingénierie des données est étroitement liée à l'apprentissage automatique et à l'intelligence artificielle, car elle fournit la base de données pour l'entraînement et le déploiement de modèles. Elle croise également la science des données et la business intelligence, garantissant que les données sont accessibles, fiables et sécurisées.
Outils et technologies
Les ingénieurs de données utilisent une variété d'outils pour le calcul, le stockage et la gestion. Les frameworks de calcul populaires incluent Apache Spark et TensorFlow. Les solutions de stockage vont des bases de données relationnelles comme PostgreSQL aux systèmes NoSQL comme MongoDB et au stockage d'objets cloud comme Amazon S3. Les outils d'orchestration de flux de travail comme Apache Airflow gèrent des pipelines complexes. Les fournisseurs de cloud offrent des services gérés tels que AWS Trainium pour le calcul spécialisé, et Azure et Google Cloud pour le stockage et le traitement évolutifs.
Défis et meilleures pratiques
L'ingénierie des données fait face à des défis tels que la qualité des données, l'évolutivité et la gestion des coûts. Les meilleures pratiques incluent la mise en œuvre d'une validation robuste des données, l'utilisation du traitement incrémental et la conception pour la tolérance aux pannes. La gouvernance et la sécurité des données sont critiques, surtout avec les réglementations croissantes sur la confidentialité des données. Alors que les volumes de données continuent de croître, l'ingénierie des données reste un domaine dynamique, évoluant avec de nouvelles technologies et méthodologies.