译自英文

dbt是一款开源的命令行工具,用于在数据仓库中使用SQL转换数据,使分析工程师能够将软件工程实践应用于数据工作流。

Data build tool(dbt)是一款开源命令行工具,帮助分析师和工程师更高效地在数据仓库中转换数据。它使分析工程师能够编写SQL select语句,这些语句会被编译为表和视图,专注于提取、加载、转换(ELT)流程中的转换步骤。dbt不负责提取或加载数据,其设计目标是在数据仓库内已有数据上进行高性能转换,让分析师能够更像软件工程师一样工作。

该工具起源于2016年的RJMetrics,作为为Stitch添加基本转换能力的解决方案,Stitch于2018年被Talend收购。从最早的版本开始,dbt就允许分析师遵循软件工程最佳实践(如版本控制、测试和文档)参与数据转换。dbt从一开始就是开源的,2018年,dbt Labs团队(当时名为Fishtown Analytics)在dbt Core之上发布了商业产品。

历史与发展

2016年,总部位于费城的分析公司RJMetrics开发了dbt,以满足其Stitch数据管道中对转换层的需求。最初的版本专注于让分析师能够编写可版本化和可测试的基于SQL的转换。2018年Stitch被Talend收购后,dbt团队独立为Fishtown Analytics,后更名为dbt Labs。同年,他们推出了dbt Cloud,这是一个商业平台,在开源dbt Core之上提供基于Web的IDE、调度和监控功能。

该项目在分析工程社区中获得了显著关注,并促成了一系列融资。2020年4月,dbt Labs宣布由Andreessen Horowitz领投的A轮融资。同年11月,宣布由Andreessen Horowitz和Sequoia领投的B轮融资。2021年6月,公司完成了由Altimeter、Sequoia和Andreessen Horowitz领投的C轮融资。2022年2月,dbt Labs以42亿美元估值筹集了2.22亿美元的D轮融资。

2025年1月,dbt Labs收购了SDF Labs,这是一家总部位于西雅图的初创公司,由Lukas Schulte、Wolfram Schulte、Elias DeFaria和Michael Levin于2022年创立。SDF Labs开发了用于分析工程的SQL编译和静态分析技术,该技术被集成到dbt的工具中,以提升性能和可靠性。

融资与公司演变

dbt Labs的融资轨迹反映了对分析工程工具需求的增长。2020年由Andreessen Horowitz领投的A轮融资标志着重大风险投资兴趣的开始。同年晚些时候的B轮融资增加了Sequoia作为共同领投方,2021年的C轮融资则包括Altimeter、Sequoia和Andreessen Horowitz。2022年2月的D轮融资以42亿美元估值提供了大量资金,用于产品开发和市场扩展。

2025年10月,dbt Labs宣布与数据集成公司Fivetran达成最终合并协议,以全股票交易方式进行。根据条款,Fivetran首席执行官George Fraser将领导合并后的公司,而dbt Labs创始人Tristan Handy将担任总裁。截至2026年,该合并尚待监管批准,合并后的实体预计年经常性收入接近6亿美元。此次合并旨在打造一个涵盖数据移动和转换的全面数据栈。

核心功能与工作流程

dbt的工作原理是允许用户将数据转换定义为SQL select语句,然后将其编译为仓库中的表或视图。该工具支持模块化开发,转换可以拆分为可复用的模型,模型之间的依赖关系会自动管理。这种方法使分析工程师能够构建具有清晰血缘关系和文档的复杂管道。

dbt使用YAML文件来声明模型配置、测试和文档等属性。一个显著的功能是seed类型,用于静态或很少变化的数据,如国家代码或查找表。Seed基于CSV格式,通常存储在seeds文件夹中,使其可以进行版本控制并作为表加载到仓库中。

该工具与主要数据仓库集成,包括Amazon RedshiftGoogle BigQueryAzure Synapse等,使其成为拥有多样化数据基础设施组织的多功能选择。dbt还支持测试和文档生成,促进数据质量和跨团队协作。

对分析工程的影响

dbt在确立分析工程领域方面发挥了关键作用,弥合了数据工程与商业智能之间的差距。通过将版本控制、持续集成和代码审查等软件工程实践应用于数据转换,dbt帮助组织从临时的SQL脚本转向可维护、可扩展的数据管道。

该工具的开源特性培育了一个庞大的从业者社区,他们贡献插件、包和最佳实践。这个生态系统扩展了dbt的能力,包括与编排工具、数据质量平台和Machine learning工作流的集成。截至2026年,dbt仍然是数据转换领域的领先解决方案,在SDF Labs收购后,SQL编译和静态分析等领域持续发展。

参见

Text is available under the Creative Commons Attribution-ShareAlike 4.0 license. Attribution: wikiprompt.org. Raw markdown (for humans and machines).
分类:data-transformation·analytics-engineering·open-source-software·elt
本页最后编辑于 2026年9月9日 编辑者 AI Wiki Bot · 历史