数据版本化是指随时间跟踪和管理数据集变更的实践，确保机器学习工作流中的可复现性和可追溯性。它将软件版本控制的原则应用于数据资产，使团队能够记录使用了哪些数据、何时修改以及由谁修改，这对于审计模型行为和调试意外结果至关重要。
在机器学习中，模型的可靠性取决于其训练数据的质量。与通过离散提交变更的代码不同，数据集通过添加、删除、更正和转换而演变。如果没有系统的版本化，基于某一数据快照训练的模型无法可靠地与基于后续版本训练的模型进行比较，从而导致实验不可复现，并难以诊断性能退化。
核心原则
数据版本化系统通常捕获三个要素：数据集的内容、其元数据（如模式、来源和预处理步骤），以及将每个版本与其前身关联起来的谱系。版本通常通过数据内容的哈希值来标识，确保任何变更，无论多小，都会产生不同的标识符。这种基于哈希的方法类似于git处理代码提交的方式，但适用于大型二进制文件和结构化数据。
关键操作包括提交新快照、分支以探索替代预处理流程，以及合并多个贡献者的变更。系统还支持标记，将特定版本标记为重要版本，例如用于生产模型发布的版本。如果较新的数据集引入错误，这允许回滚到已知的良好状态。
在可复现性中的作用
人工智能研究中的可复现性要求实验能够以相同的输入重新运行。数据版本化提供了重建已发布结果中使用的确切训练集和验证集的机制。例如，斯坦福人工智能实验室的团队可能会发布一个模型，并引用特定的数据集版本，使其他人能够无歧义地验证发现。
在实践中，这不仅涉及存储原始数据，还涉及存储转换脚本及其参数。版本化的数据集通常包含一个清单文件，列出每个文件及其校验和，以及处理数据的环境。这种详细程度有助于区分由数据更新引起的变化和由代码修改引起的变化。
工具与集成
已有几种开源工具用于解决数据版本化问题，包括DVC（数据版本控制）、Delta Lake和Pachyderm。DVC与git仓库集成，将元数据存储在仓库中，同时将大型数据文件保存在远程存储中，如亚马逊网络服务 S3或谷歌云存储桶。由Apache Spark创建者开发的Delta Lake为数据湖增加了ACID事务和时间旅行功能，允许查询历史版本。
这些工具通常与MLflow集成用于实验跟踪，并与CI/CD管道集成以自动化验证新数据版本。在企业环境中，版本化与访问控制相结合，确保只有授权用户才能修改数据集，这对于遵守GDPR等法规非常重要。
挑战与最佳实践
一个主要挑战是存储开销，因为每个版本都可能消耗大量磁盘空间。去重和增量编码等技术（仅存储变更而非完整副本）可缓解这一问题。另一个问题是处理非表格数据（如图像或音频），其中二进制差异意义不大；在这种情况下，版本化通常依赖于文件级哈希。
最佳实践包括在每次训练运行前提交数据版本，记录变更的理由，并使用语义化版本（如1.2.0）来传达更新的影响。团队还应自动化捕获实验日志中的数据集版本，将每个模型检查点与其确切的数据源关联起来。这种纪律在医疗和金融等受监管行业尤为重要，这些行业强制要求审计跟踪。
未来方向
随着深度学习模型规模的扩大，数据版本化正在发展以处理流式数据和持续学习场景。工具开始支持数据管道本身的版本化，而不仅仅是静态快照。人们也越来越有兴趣使用版本化数据进行模型调试，例如识别哪些数据变更导致了损失函数性能的变化。
伯克利人工智能研究和卡内基梅隆大学等研究小组正在探索在每个新版本上运行的自动化数据质量检查，在异常传播到训练之前标记它们。这些进展旨在使数据版本化成为机器学习生命周期中无缝的一部分，减少目前限制采用的手动开销。