ADALINE（自适应线性神经元，后称自适应线性元件）是一种早期的单层人工神经网络，同时也是实现该网络的物理设备名称。它由教授伯纳德·威德罗与其博士生马西安·霍夫于1960年在斯坦福大学共同开发。该模型基于感知机，由权重、偏置以及求和函数构成。其权重与偏置通过变阻器实现（可见于“旋钮式ADALINE”设备中），后来则改用忆阻器实现。ADALINE在自适应信号处理领域得到了广泛应用，尤其是在自适应噪声滤波方面。
ADALINE与（罗森布拉特提出的）标准感知机之间的区别在于其学习方式。ADALINE单元的权重调整目标是匹配教师信号，且调整发生在应用亥维赛阶跃函数之前；而标准感知机单元的权重调整目标是匹配正确输出，且调整发生在应用亥维赛阶跃函数之后。由多层ADALINE单元构成的网络称为MADALINE。
架构与运作
ADALINE是一个包含多个节点的单层神经网络，每个节点接收多个输入并产生一个输出。给定输入向量 x、权重向量 w、输入数量 N 以及偏置 b，输出 o 的计算方式为加权和：o = sum_{n=1}^{N} x_n w_n + b。若进一步假设 x_0 = 1 且 w_0 = b，则输出可简化为：o = sum_{n=0}^{N} x_n w_n。
该网络的线性求和函数使其区别于后来在单个单元内引入非线性激活函数的模型。其物理实现采用可调电阻（变阻器）作为权重，从而能够在训练过程中实时调整。后来的版本采用忆阻器，，一种具有记忆功能的电阻器，，使得权重存储更加紧凑且稳定。
学习规则
ADALINE采用的学习规则是LMS（最小均方）算法，它是梯度下降法的一种特例。给定学习率 eta、模型输出 o 以及期望目标 y，误差的平方定义为 E = (y - o)^2。LMS算法的权重更新方式为：w <- w + eta (y - o) x。该更新规则通过最小化 E（即误差平方）来实现，实际上就是线性回归中的随机梯度下降更新。
这一方法与感知机的纠错规则有显著不同：感知机根据阈值化后的二值输出来调整权重，而ADALINE通过在应用亥维赛阶跃函数之前最小化连续误差，能够实现更平滑的收敛，并在噪声环境中表现更佳，因此特别适合自适应滤波应用。
MADALINE
MADALINE（多ADALINE）是一种三层（输入层、隐藏层、输出层）全连接前馈神经网络架构，其隐藏层和输出层均使用ADALINE单元，激活函数为符号函数。由于符号函数不可导，反向传播算法无法用于训练MADALINE网络。因此，研究者提出了三种不同的训练算法，分别称为规则I、规则II和规则III。
尽管进行了大量尝试，研究人员始终未能成功训练MADALINE模型中超过单层的权重。这一局面一直持续到威德罗在1985年于犹他州雪鸟城的一次会议上了解到反向传播算法。
MADALINE规则I（MRI）可追溯至1962年，该规则涉及两层结构：第一层由ADALINE单元组成；第二层包含两个单元，其中一个为多数投票单元，它接收所有输出，若正输出多于负输出则输出+1，否则输出-1。另一个单元为“任务分配器”：当期望输出与多数投票结果不一致时，它会计算需要改变输出的ADALINE单元的最小数量，选择那些最接近负输出的单元，并按照ADALINE学习规则更新其权重。这一方法被视为“最小扰动原则”的一种体现。
最大的MADALINE机器包含1000个权重，每个权重均由忆阻器实现，于1963年建成。该机器被用于演示多项任务，包括倒立摆控制、天气预报以及语音识别。
MADALINE规则II（MRII）于1988年提出，是对规则I的改进。规则II的训练算法基于“最小扰动”原则，其流程为：循环遍历训练样本，对于每个样本，找出隐藏层中置信度最低的单元，尝试翻转该单元的符号，根据网络误差是否减小来决定接受或拒绝该翻转，直至误差降至零。此外，当翻转单个单元的符号无法将某个样本的误差降至零时，算法会开始尝试翻转成对单元的符号，继而尝试三元组，依此类推。
MADALINE规则III应用于将符号函数替换为Sigmoid激活函数的改进网络；后来发现，该规则等价于反向传播算法。
遗产与影响
ADALINE及其后继者MADALINE在神经网络和机器学习的发展中奠定了重要基础。威德罗提出的LMS算法成为自适应信号处理的基石，并对后来的深度学习发展产生了影响。在阈值化之前最小化连续误差这一理念，预示了现代神经网络训练中使用可微损失函数的方法。
尽管ADALINE本身仅能处理线性问题，但其权重自适应与误差最小化的原则被继承并扩展到了更复杂的网络架构中。20世纪60年代在斯坦福人工智能实验室开展的工作，与施乐帕洛阿尔托研究中心等机构的贡献一道，推动了人工神经网络领域的建立。最小扰动原则后来以多种形式重新出现在在线学习算法中。
ADALINE采用变阻器和忆阻器的物理实现方式，也证明了模拟计算用于神经网络的可行性，，这一概念在当代神经形态计算硬件中重新受到关注。威德罗的贡献被认为是人工智能发展史上的关键节点，连接了早期的感知机研究与后来的Transformer模型时代。