周波数原理（frequency principle）は、スペクトルバイアス（spectral bias）とも呼ばれ、深層ニューラルネットワークの経験的に観測される性質である。これは、訓練中にこれらのネットワークが、まず対象関数の低周波成分を学習し、その後徐々に高周波の詳細を捕捉する傾向を記述する。この挙動は、全結合ネットワーク、畳み込みニューラルネットワーク、残差ネットワークを含む幅広いネットワークアーキテクチャで、また画像生成、回帰、分類などの様々なタスクで記録されている。この現象は、ネットワーク出力の誤差を周波数に対してプロットすることで視覚化されることが多く、訓練初期には低周波の誤差がより急速に減少することを示している。
この原理はスペクトルバイアスの概念と密接に関連しており、スペクトルバイアスは同じ低周波の優先的学習を記述するために用いられる用語である。この二つの用語はしばしば互換的に使用されるが、周波数原理はより広範な経験的観測として位置づけられることがあり、スペクトルバイアスは基礎となる理論的説明を指すことがある。この効果は、深層学習モデルの汎化能力と限界を理解する上で重要な意味を持ち、特に画像超解像や鮮明なテクスチャ生成など、高周波の詳細を伴うタスクにおいて顕著である。
理論的説明
周波数原理を説明するために、いくつかの理論的枠組みが提案されている。Zhiqin XuやTao Luoを含む研究者らによって開発された主要な研究の一つは、フーリエ領域におけるニューラルネットワークの訓練ダイナミクスを分析するものである。彼らは、二層ネットワークにおいて、勾配降下アルゴリズムの収束率が対象成分の周波数に反比例することを示した。これは、ニューラルタンジェントカーネルにおいてより大きな固有値を持つ低周波成分が、より速く学習されることを意味する。ニューラルタンジェントカーネル理論は、広いネットワークの訓練を線形システムとして近似するものであり、この周波数依存の収束に数学的基盤を提供する。
もう一つの説明は、損失ランドスケープの文脈における「F原理」（周波数原理）の概念を含む。勾配降下の最適化軌道は、損失を最も急速に減少させる方向に移動する傾向があり、多くの損失関数において、これらの方向は低周波の変化に対応する。これは、低周波モードがよりゆっくりと減衰する偏微分方程式の挙動に類似しているが、勾配降下の文脈では、初期の損失減少に寄与するため、低周波成分が最初に学習される。
経験的観測
周波数原理は数多くの実験で観測されている。例えば、生成的敵対ネットワークを用いた画像生成タスクでは、訓練初期のエポックは高周波の詳細を欠いたぼやけた画像を生成し、鋭いエッジやテクスチャは後のエポックでのみ現れる。同様に、回帰タスクでは、ネットワークは最初に対象関数の滑らかな近似を適合させ、その後、高周波の振動で適合を洗練させる。この挙動は、ReLUやシグモイドなどの異なる活性化関数、およびAdamや確率的勾配降下法を含む異なる最適化アルゴリズムにわたって一貫している。
注目すべき経験的発見は、訓練データが一様に分布していない場合でも周波数原理が成立することである。例えば、データが特定の領域に集中している場合、ネットワークは依然として低周波成分をグローバルに最初に学習するが、局所的な周波数内容は変化し得る。これは、データ分布とサンプリング戦略が高周波特徴の学習にどのように影響するかに関する研究につながっている。
深層学習への含意
周波数原理にはいくつかの実用的な含意がある。第一に、これは、アーキテクチャが特に高周波の詳細を処理するように設計されていない限り、深層ネットワークが画像の鋭いエッジや急速に変化する信号などの高周波の詳細にしばしば苦労する理由を説明する。これは、高周波情報を保存するためにスキップ接続を使用する画像セグメンテーション用のU-Netや、自然言語処理で高周波特徴を表現するためのトランスフォーマーにおける位置エンコーディングの使用など、アーキテクチャの開発を動機づけてきた。
第二に、この原理は訓練戦略に情報を提供する。例えば、モデルをより単純な（低周波の）例から訓練するカリキュラム学習は、自然な学習順序と一致する。さらに、学習率スケジューリングなどの技術は、高周波成分の遅い収束を考慮して調整できる。この原理はまた、汎化ギャップの理解にも含意を持ち、高周波成分を学習できないモデルは、細かい詳細を必要とするタスクで過小適合する可能性がある。
他の概念との関連
周波数原理は、深層学習における他のいくつかの概念と関連している。これは、勾配降下が本質的に単純な解を好み、それがしばしば低周波関数に対応するという暗黙的正則化の考え方と関連している。また、過パラメータ化によってモデル性能が向上する二重降下の現象とも相互作用し、部分的にはより大きなモデルが高周波をより効果的に捕捉できるためである。さらに、この原理は、バッチ正規化やレイヤー正規化などの技術の成功と関連しており、これらは効果的な学習ダイナミクスを変更し、場合によってはスペクトルバイアスを軽減できる。
現在の研究と未解決問題
周波数原理に関する研究は進行中であり、いくつかの未解決問題がある。重要な分野の一つは、この原理が非常に深くて広いネットワークにどのようにスケールするか、また、大規模言語モデルやトランスフォーマーなどの現代のアーキテクチャとどのように相互作用するかを理解することである。この原理は主に全結合ネットワークと畳み込みネットワークの文脈で研究されてきたが、注意ベースのモデルへの適用可能性は活発な研究分野である。もう一つの疑問は、周波数原理を利用してより効率的な訓練アルゴリズムを設計できるかどうか、例えば損失の寄与を周波数で明示的に重み付けすることである。一部の研究者は、高周波での誤差をより重く罰する「周波数認識」損失関数のアイデアも探求しており、収束を加速する可能性がある。
2020年代初頭の時点で、周波数原理は堅牢な経験的観測であり、成長する理論的基盤を持つ。これは、ニューラルネットワークの学習ダイナミクスを理解するための統一的なレンズを提供し、理論と応用の両方で新しい研究を刺激し続けている。