德尔塔规则是机器学习中的一种基础学习算法，用于根据网络输出与期望目标之间的误差来调整单层神经网络的权重。它是梯度下降的一种形式，通过最小化预测输出与实际目标之间的均方误差来实现。该规则按误差梯度的负方向成比例地更新每个权重，并乘以学习率进行缩放。它在历史上具有重要意义，是最早的监督学习规则之一，为后来深度学习和人工智能的发展奠定了基础。
德尔塔规则于1960年由伯纳德·维德罗和马尔西安·霍夫提出，他们为ADALINE（自适应线性神经元）模型开发了这一规则。他们在斯坦福大学的工作建立了一种训练线性分类器的原则性方法，与早期的感知机规则不同，后者仅对误分类的样本进行权重修正。相比之下，德尔塔规则应用连续的误差修正，使其更加稳健，并能够处理不可分的数据。
数学表述
对于输入向量\(x\)、权重向量\(w\)和目标任务\(t\)的单层网络，德尔塔规则更新每个权重\(w_i\)的方式为：
\[ \Delta w_i = \eta (t - y) x_i \]
其中\(y\)是实际输出（通常是线性组合\(w \cdot x\)），\(\eta\)是学习率。项\((t - y)\)是误差，与\(x_i\)的乘积给出均方误差相对于\(w_i\)的梯度。该更新可以通过对每个权重求导，从均方误差损失中推导得出。
该规则假设激活函数是线性的，或至少是可微的，从而允许基于梯度的优化。对于非线性激活，广义德尔塔规则（也称为反向传播）通过将误差向后传播到隐藏层，将此思想扩展到多层网络。
与感知机规则的关系
感知机学习规则由弗兰克·罗森布拉特于1958年提出，仅在网络做出分类错误时更新权重，并使用二元阈值。德尔塔规则通过在每个样本上按误差大小成比例地更新权重，对此进行了改进。这使其更适合回归任务以及线性不可分的数据，而感知机规则在这些情况下可能无法收敛。德尔塔规则收敛到最小化均方误差的解，即使无法实现完美分类也是如此。
历史影响与局限性
维德罗和霍夫在ADALINE和德尔塔规则上的工作是早期神经网络研究中的一个里程碑。他们证明了基于梯度的优化可以训练自适应系统，影响了后来诸如Adam优化器和现代深度学习中使用的其他随机梯度下降变体的发展。然而，德尔塔规则仅限于具有线性输出的单层网络，这使其局限于线性可分问题。这一局限性部分导致了1970年代的“人工智能寒冬”，因为研究人员认识到单层模型无法解决诸如XOR函数之类的问题。直到1980年代，随着反向传播的出现，这种局面才得以复兴，反向传播将德尔塔规则推广到了隐藏层。
现代相关性
尽管德尔塔规则本身如今很少直接使用，但它的原理嵌入了几乎所有神经网络训练中。计算误差梯度并通过基于梯度的方法更新权重的概念仍然是核心。德尔塔规则还引入了学习率的概念，这一超参数如今在学习率调度中仍然至关重要。在现代框架中，德尔塔规则通常作为教学上的垫脚石来介绍更复杂的算法，并且它仍然是入门机器学习课程中的标准主题。它的影响延伸至大型语言模型和变换器，其中的优化技术可以追溯到这一早期规则。