数据驱动模型是一种主要根据观测数据而非显式物理、数学或规则性原理构建的系统或过程计算表示。在此类模型中，结构和参数通常通过机器学习算法从示例中学习，这些算法识别输入数据中的统计模式、相关性和依赖关系。这与依赖领域知识和控制方程的机制性或理论驱动模型形成对比。由于计算能力的增长、大型数据集的可用性以及深度学习和神经网络架构的进步，数据驱动模型在科学、工程和商业领域变得越来越普遍。
其定义性特征是模型的预测能力直接源于数据。随着数据量和多样性的增长，这些模型能够捕捉可能难以或无法用解析方式表达的复杂非线性关系。常见示例包括回归模型、决策树、支持向量机和现代神经网络。在实践中，构建数据驱动模型涉及收集和清理数据、选择合适的算法、在数据子集上训练模型，并在未见数据上验证其性能以确保泛化能力。
历史发展
数据驱动建模的基础可追溯至早期统计方法和控制论。在1950年代，Bernard Widrow引入了自适应线性元件，即ADALINE，这是通过迭代误差校正直接基于数据训练的早期神经模型。在1960年代和1970年代，Xerox PARC和其他研究中心开发了依赖经验数据进行分类和预测的模式识别技术。1980年代个人计算机和更大存储能力的兴起使Michael I. Jordan等研究人员能够形式化从数据中学习的概率和统计框架。到1990年代，卡内基梅隆大学和其他机构在语音识别和计算机视觉等领域推广了大型数据集的使用，将数据驱动方法确立为主流研究范式。
“数据驱动”一词在2000年代随着大数据技术和开放数据倡议的普及而获得更广泛的使用。在2010年代，Graphcore和其他专用硬件的出现加速了大型神经网络的训练，使数据驱动模型在实时应用中变得实用。到2012年，深度卷积网络在ImageNet竞赛中的成功标志着一个转折点，证明了数据驱动模型在复杂感知任务中可以超越手工设计的特征。
方法论和工作流程
开发数据驱动模型遵循结构化的流程。第一步是数据采集，涉及收集相关测量值、日志或传感器读数。数据预处理随后处理缺失值、异常值和归一化。特征工程，，尽管在深度学习中较少强调，，对许多经典算法仍然至关重要。损失函数的选择取决于任务，例如回归使用均方误差，分类使用交叉熵。训练通常采用随机梯度下降变体或Adam优化器等优化算法来最小化损失。为防止过拟合，从业者使用Dropout、Batch Normalization和Data Augmentation等技术。
验证至关重要：模型在留出子集上进行评估以衡量泛化能力。课程学习和迁移学习是先进策略，可在数据有限时改善收敛和性能。在生产环境中，模型可能随着新数据的到来而持续更新，这种做法通常称为在线学习或持续训练。
跨领域应用
数据驱动模型已改变了众多领域。在医疗保健中，它们辅助医学图像诊断和患者结果预测；例如，Intuitive Surgical使用数据分析来增强手术机器人。在自动驾驶中，Waymo和Tesla Autopilot依赖基于数百万英里驾驶数据训练的模型进行感知和导航。在金融领域，这些模型检测欺诈交易并预测市场走势。Amazon Web Services和AWS Trainium提供大规模训练和部署此类模型的基础设施。
在自然语言处理中，数据驱动模型支撑了大型语言模型，如OpenAI和Anthropic开发的模型。这些系统从海量文本语料库中学习，以生成类人文本、翻译语言和回答问题。Google DeepMind将类似技术应用于蛋白质折叠和游戏对弈，取得了超越人类基准的结果。在科学研究中，数据驱动模型通过识别实验数据中的模式，加速了材料科学、基因组学和粒子物理学的发现。
优势与局限性
主要优势是灵活性：在没有显式规则的情况下，只要有足够的数据和容量，这些模型可以逼近任何连续函数。它们也随着更多数据而改进，使其在数据收集成本低廉的领域具有吸引力。然而，它们并非没有局限性。它们需要大量高质量、有代表性的数据；有偏的训练数据可能导致有偏的预测。可解释性常常是一个问题，因为深度神经网络等复杂模型充当“黑箱”，难以理解输出背后的推理。Melanie Mitchell和其他研究人员强调了这些伦理和实际挑战，包括对对抗性攻击的脆弱性和缺乏因果理解。此外，当数据分布发生显著变化时，数据驱动模型可能失效，除非定期重新训练模型。
与人工智能的关系
数据驱动建模是现代人工智能的基石。特别是，机器学习及其子领域深度学习本质上是数据驱动的。从基于规则的专家系统向基于学习的方法的转变标志着1980年代后AI研究的根本性变化。AI领域的许多有影响力人物，如Yann LeCun和Geoffrey Hinton，通过在海量数据集上训练神经网络推进了这一范式。截至2020年代，几乎所有最先进的AI系统，，从基于Transformer的模型到强化学习代理，，都是数据驱动的，其性能直接与训练数据的数量和质量相关。这种依赖推动了数据效率、合成数据生成和隐私保护学习（如联邦学习）的研究。
未来方向
该领域持续发展。目前正在努力将数据驱动模型与领域知识相结合，产生更稳健和可解释的混合模型。Xiang Zhang和其他研究人员正在探索将控制方程作为约束纳入的物理信息神经网络。对因果推断的兴趣也在增长，旨在超越相关性，从数据中发现因果关系。来自AMD、Intel和Graphcore等公司的硬件进步有望降低训练成本，而Google Cloud和Azure等软件框架使这些模型对更广泛的受众可及。随着物联网和科学仪器继续扩大数据生成，数据驱动模型的作用可能会增长，需要仔细关注伦理、稳健性和透明度。