频率原理，又称频谱偏置，是深度神经网络的一个经验观察性质。它描述了这些网络在训练过程中，倾向于先学习目标函数的低频成分，再逐步捕捉更高频细节。这一行为已在多种网络架构中得到记录，包括全连接网络、卷积神经网络和残差网络，并适用于图像生成、回归和分类等多种任务。该现象通常通过绘制网络输出误差随频率变化的图表来可视化，显示在训练早期，低频部分的误差下降更快。
这一原理与频谱偏置的概念密切相关，后者用于描述同样的低频优先学习现象。虽然这两个术语常被互换使用，但频率原理有时被框定为更广泛的经验观察，而频谱偏置则可指代背后的理论解释。该效应对理解深度学习模型的泛化能力和局限性具有重要意义，特别是在涉及高频细节的任务中，如图像超分辨率或生成锐利纹理。
理论解释
已有多个理论框架被提出以解释频率原理。其中一条突出的研究路线，由徐志勤和罗涛等研究者开发，在傅里叶域中分析神经网络的训练动态。他们表明，对于两层网络，梯度下降算法的收敛速率与目标成分的频率成反比。这意味着低频成分，由于在神经正切核中具有较大的特征值，会被更快学习。神经正切核理论将宽网络的训练近似为线性系统，为这种频率依赖的收敛提供了数学基础。
另一种解释涉及损失景观背景下的“F-原理”（频率原理）。梯度下降的优化轨迹倾向于朝能最快减少损失的方向移动，而对于许多损失函数，这些方向对应于低频变化。这与偏微分方程的行为类似，其中低频模式衰减较慢，但在梯度下降的背景下，它们之所以先被学习，是因为它们对初始损失减少贡献更大。
经验观察
频率原理已在众多实验中被观察到。例如，在使用生成对抗网络的图像生成任务中，早期训练周期产生的图像模糊，缺乏高频细节，锐利边缘和纹理仅在后期周期出现。类似地，在回归任务中，网络最初拟合目标函数的平滑近似，然后通过更高频振荡细化拟合。这一行为在不同激活函数（如ReLU和sigmoid）以及不同优化算法（包括Adam和随机梯度下降）中保持一致。
一个显著的经验发现是，即使训练数据分布不均匀，频率原理仍然成立。例如，在数据集中于某些区域的情况下，网络仍会先全局学习低频成分，但局部频率内容可能有所不同。这引发了关于数据分布和采样策略如何影响高频特征学习的研究。
对深度学习的影响
频率原理具有若干实际影响。首先，它解释了为什么深度网络常常难以处理高频细节，如图像中的锐利边缘或快速变化的信号，除非架构专门设计以应对这些。这推动了如U-Net等用于图像分割的架构发展，该架构使用跳跃连接来保留高频信息，以及在自然语言处理中使用位置编码来表示高频特征。
其次，该原理为训练策略提供信息。例如，课程学习，即先训练模型于较简单（低频）示例，与自然学习顺序一致。此外，学习率调度等技术可调整以考虑高频成分的较慢收敛。该原理还对理解泛化差距有影响，因为未能学习高频成分的模型可能在需要精细细节的任务上欠拟合。
与其他概念的关系
频率原理与深度学习中其他几个概念相关。它与隐式正则化的思想有关，即梯度下降天然偏好更简单的解，这些解通常对应于低频函数。它还与双下降现象相互作用，其中模型性能可随过参数化而提升，部分原因是更大的模型能更有效地捕捉高频。此外，该原理已与批归一化和层归一化等技术的成功联系起来，这些技术可改变有效学习动态，并在某些情况下可能缓解频谱偏置。
当前研究与开放问题
关于频率原理的研究仍在进行中，存在几个开放问题。一个关键领域是理解该原理如何扩展到非常深和非常宽的网络，以及它如何与现代架构如大型语言模型和变换器交互。虽然该原理主要在完全连接和卷积网络的背景下研究，但其对基于注意力模型的适用性是一个活跃的研究领域。另一个问题是，频率原理是否可用于设计更高效的训练算法，例如通过显式按频率加权损失贡献。一些研究者还探索了“频率感知”损失函数的概念，这些函数更重地惩罚高频误差，可能加速收敛。
截至2020年代初，频率原理仍是一个稳健的经验观察，并具有不断增长的理论基础。它提供了一个统一视角，通过它来理解神经网络的学习动态，并继续激发理论和应用方面的新研究。