广义Hebbian算法（GHA）是一种用于人工神经网络的非监督学习规则，可执行主成分分析（PCA）。该算法由Terence D. Sanger于1989年提出，作为Oja规则的扩展，后者仅提取第一个主成分。GHA使单层线性神经网络能够以顺序方式学习输入数据分布的前k个主成分，使其成为基于神经网络降维和特征提取的基础方法。
与需要标注数据的监督学习方法不同，GHA仅基于输入统计运行。它遵循受Hebbian启发的更新规则，即当突触前和突触后激活相关时，突触权重会增强，但其中包含关键的归一化和去相关步骤。该去相关过程通过类似Gram-Schmidt的流程实现，确保每个输出神经元学习一个不同的主成分，并按方差递减顺序排列。
数学表述
对于输入向量x ∈ ℝⁿ和输出向量y ∈ ℝᵏ，网络计算y = W x，其中W是k×n权重矩阵。每个权重wᵢⱼ（连接输入j到输出i）的GHA更新规则为：
Δwᵢⱼ = η yᵢ ( xⱼ - Σ_{p=1}^{i} wₚⱼ yₚ )
这里，η是学习率，对p从1到i的求和执行顺序正交化。对于第一个输出神经元（i=1），该规则简化为Oja规则：Δw₁ⱼ = η y₁ (xⱼ - w₁ⱼ y₁)。对于后续神经元，该术语减去输入在已学习权重向量上的投影，迫使新神经元捕获与先前分量正交的方差。
该更新可以解释为在正交归一化约束下，对每个输出解释的方差进行随机梯度上升。在学习率满足温和条件（例如，递减至零）时，权重向量收敛于输入协方差矩阵的特征向量，并按特征值递减顺序排列。
与Oja规则和PCA的关系
Oja规则由Erkki Oja于1982年提出，是一种单神经元Hebbian规则，将权重向量归一化为单位长度，促使其收敛到第一个主成分。GHA通过使用神经元级联扩展了这一点，其中每个神经元的更新包括减去所有先前神经元的贡献。这类似于Gram-Schmidt正交化过程，但以在线和随机方式执行。
与批量PCA算法（例如，特征值分解）相比，GHA是完全增量的，可以一次一个样本地处理数据流。它不需要存储整个协方差矩阵，因此对高维数据在内存方面高效。然而，其收敛速度比批量方法慢，并且对学习率调度敏感。
应用与意义
GHA已应用于多个领域，包括图像压缩、信号处理和模式识别。在1990年代，它被用于手写数字识别的特征提取以及雷达和声纳数据的降维。其在线特性使其适用于实时系统，如自适应滤波器和机器人技术。
在Machine learning和Neural network研究的背景下，GHA增进了对Hebbian学习和自组织的理论理解。它证明了简单的局部学习规则可以实现全局统计特性，这一主题影响了后来关于Deep learning和非监督表示学习的工作。尽管现代深度网络通常使用反向传播和Adam (Optimizer)，但GHA仍然是生物合理学习的经典示例。
局限性与现代背景
GHA假设线性网络和高斯类输入统计，这限制了其捕捉非线性结构的能力。非线性PCA和基于核的方法等扩展解决了这一问题，但它们失去了简单的Hebbian形式。此外，GHA需要仔细调整学习率；过高的速率会导致发散，过低则减缓收敛。顺序性质也意味着早期分量中的错误会传播到后续分量。
随着Deep learning和Transformer (architecture)架构的兴起，GHA在最先进系统中很少使用。然而，它仍然是神经计算和Artificial intelligence课程中的教学基石。其去相关和方差最大化的原理支撑了更先进的技术，如Batch Normalization和Layer Normalization，这些技术也旨在稳定和去相关激活。
参见
参考文献
- Sanger, T. D. (1989). "Optimal unsupervised learning in a single-layer linear feedforward neural network." Neural Networks, 2(6), 459-473.
- Oja, E. (1982). "Simplified neuron model as a principal component analyzer." Journal of Mathematical Biology, 15(3), 267-273.