提取、转换、加载（ETL）是一种三阶段计算过程，用于将数据从一个或多个来源集成到目标数据容器中，例如数据仓库、数据湖或操作数据存储。该过程涉及从源系统提取原始数据，通过清洗和重构进行转换，然后加载到目的地。ETL通常由软件应用程序自动化执行，但也可以由系统操作员手动完成。它是数据仓库中的基础技术，并已发展以支持基于云和实时流式场景。
ETL系统旨在强制执行数据质量和一致性。它们从异构来源提取数据，应用验证和转换规则，并确保输出符合目标模式。设计良好的ETL管道可以提供可直接呈现的数据，使应用程序开发人员和最终用户无需额外处理即可做出决策。该过程通常用于合并来自多个应用程序的数据，这些应用程序可能由不同供应商开发或托管在独立硬件上，并且经常由不同利益相关者管理。例如，成本会计系统可能整合来自薪资、销售和采购系统的数据。
阶段
ETL包含三个不同的阶段：提取、转换和加载。每个阶段都有特定的目标和挑战，它们共同构成一个将数据从源移动到目的地的管道。
提取
提取阶段涉及从源系统拉取数据。这通常是最关键的步骤，因为正确提取数据为下游流程奠定了基础。来源可以包括关系数据库、平面文件、XML、JSON、非关系结构（如IBM信息管理系统），或虚拟存储访问方法（VSAM）和索引顺序访问方法（ISAM）等格式。数据也可以通过网络爬虫或数据抓取从外部来源获取。在某些情况下，ETL可以直接将数据从源流式传输到目的地，而无需中间存储。
提取的内在部分是数据验证，它检查数据在给定域中是否具有预期值，例如模式、默认值或列表。如果数据未通过验证规则，则可能被完全或部分拒绝。被拒绝的数据理想情况下应报告回源系统进行分析和纠正，这一过程有时称为数据整理。
转换
在转换阶段，对提取的数据应用一系列规则或函数，以准备加载。数据清洗是关键功能，确保只有正确的数据传递到目标。当不同系统使用不兼容的字符集或格式时，会出现挑战。常见的转换类型包括：
- 仅选择某些列进行加载，或忽略具有缺失值的记录。
- 转换编码值，例如将性别代码从“1”/“2”转换为“M”/“F”。
- 编码自由格式值，例如将“Male”映射为“M”。
- 派生新的计算值，例如sale_amount = qty * unit_price。
- 对数据进行排序以提高搜索性能。
- 连接多个来源的数据并去重记录。
- 聚合数据，例如汇总每个商店或地区的总销售额。
- 生成代理键值。
- 转置或透视数据、拆分列或分解重复列。
- 从参考表中查找和验证数据。
验证失败可能导致完全拒绝、部分拒绝或不拒绝，具体取决于规则设计和异常处理。许多转换可能产生异常，例如当代码转换遇到未知代码时。
加载
加载阶段将转换后的数据插入目标，目标可以是简单的分隔平面文件或复杂的数据仓库。该过程根据组织需求而变化。一些仓库用累积数据覆盖现有信息，通常按每日、每周或每月计划进行。其他仓库则按固定间隔（如每小时）以历史形式添加新数据。例如，维护去年销售记录的仓库可能会覆盖超过一年的数据，同时以历史方式保留当前年份的数据。替换或追加的时间和范围是取决于时间和业务需求的战略选择。更复杂的系统可以维护所有更改的历史和审计跟踪。
在加载期间，模式中定义的数据库约束（如唯一性、参照完整性和必填字段）适用。数据加载时触发的触发器也强制执行这些规则，这可能导致无效记录被拒绝。
变体与现代用途
ETL有一个变体称为ELT（提取、加载、转换），其中数据在转换之前加载到目标。这种方法越来越多地用于基于云的数据仓库，其中目标系统具有强大的处理能力。ETL和ELT不仅应用于批处理，还应用于实时流式场景，实现近乎即时的数据集成。
现代ETL工具通常支持亚马逊网络服务、微软Azure和谷歌云等云平台，并能处理来自多样化来源的大量数据。人工智能和机器学习的兴起也影响了ETL，因为数据管道越来越多地为分析和模型训练系统提供数据。
挑战与最佳实践
设计有效的ETL系统需要仔细规划。关键挑战包括处理数据质量问题、管理模式变更以及确保大规模性能。最佳实践包括：
- 定义清晰的数据验证规则和异常处理。
- 记录转换逻辑以保持可维护性。
- 使用增量加载以减少处理时间。
- 监控ETL作业的失败和性能瓶颈。
- 在提取和加载期间确保数据安全性和合规性。
ETL仍然是数据集成策略的关键组成部分，弥合了操作系统和分析环境之间的差距。随着数据量的增长和来源的多样化，ETL流程持续演进，融入流式和云原生技术以满足现代需求。