Le principe de fréquence, également connu sous le nom de biais spectral, est une propriété observée empiriquement des réseaux de neurones profonds. Il décrit la tendance de ces réseaux, pendant l'entraînement, à apprendre d'abord les composantes basse fréquence de la fonction cible avant de capturer progressivement les détails haute fréquence. Ce comportement a été documenté sur une large gamme d'architectures de réseaux, y compris les réseaux entièrement connectés, les réseaux de neurones convolutifs et les réseaux résiduels, ainsi que sur diverses tâches telles que la génération d'images, la régression et la classification. Le phénomène est souvent visualisé en traçant l'erreur de la sortie du réseau en fonction de la fréquence, montrant que l'erreur diminue plus rapidement pour les basses fréquences au début de l'entraînement.
Ce principe est étroitement lié au concept de biais spectral, un terme utilisé pour décrire le même apprentissage préférentiel des basses fréquences. Bien que les deux termes soient souvent utilisés de manière interchangeable, le principe de fréquence est parfois présenté comme une observation empirique plus large, tandis que le biais spectral peut se référer aux explications théoriques sous-jacentes. L'effet a des implications significatives pour comprendre les capacités de généralisation et les limites des modèles d'apprentissage profond, en particulier dans les tâches impliquant des détails haute fréquence, comme la super-résolution d'images ou la génération de textures nettes.
Explications théoriques
Plusieurs cadres théoriques ont été proposés pour expliquer le principe de fréquence. Une ligne de travail importante, développée par des chercheurs dont Zhiqin Xu et Tao Luo, analyse la dynamique d'entraînement des réseaux de neurones dans le domaine de Fourier. Ils ont montré que pour les réseaux à deux couches, le taux de convergence de l'algorithme de descente de gradient est inversement proportionnel à la fréquence de la composante cible. Cela signifie que les composantes basse fréquence, qui ont des valeurs propres plus grandes dans le noyau tangent neuronal, sont apprises plus rapidement. La théorie du noyau tangent neuronal, qui approxime l'entraînement d'un réseau large comme un système linéaire, fournit une base mathématique pour cette convergence dépendante de la fréquence.
Une autre explication implique le concept du « principe F » (principe de fréquence) dans le contexte du paysage de perte. La trajectoire d'optimisation de la descente de gradient tend à se déplacer dans des directions qui réduisent la perte le plus rapidement, et pour de nombreuses fonctions de perte, ces directions correspondent à des changements basse fréquence. Cela est analogue au comportement des équations aux dérivées partielles, où les modes basse fréquence décroissent plus lentement, mais dans le contexte de la descente de gradient, ils sont appris en premier car ils contribuent davantage à la réduction initiale de la perte.
Observations empiriques
Le principe de fréquence a été observé dans de nombreuses expériences. Par exemple, dans les tâches de génération d'images utilisant des réseaux antagonistes génératifs, les premières époques d'entraînement produisent des images floues qui manquent de détails haute fréquence, avec des bords nets et des textures apparaissant seulement dans les époques ultérieures. De même, dans les tâches de régression, les réseaux ajustent initialement des approximations lisses de la fonction cible, puis affinent l'ajustement avec des oscillations haute fréquence. Ce comportement est cohérent à travers différentes fonctions d'activation, telles que ReLU et sigmoïde, et à travers différents algorithmes d'optimisation, y compris Adam et la descente de gradient stochastique.
Un résultat empirique notable est que le principe de fréquence tient même lorsque les données d'entraînement ne sont pas uniformément distribuées. Par exemple, dans les cas où les données sont concentrées dans certaines régions, le réseau apprend toujours les composantes basse fréquence globalement en premier, mais le contenu fréquentiel local peut varier. Cela a conduit à des recherches sur la manière dont la distribution des données et les stratégies d'échantillonnage peuvent influencer l'apprentissage des caractéristiques haute fréquence.
Implications pour l'apprentissage profond
Le principe de fréquence a plusieurs implications pratiques. Premièrement, il explique pourquoi les réseaux profonds ont souvent du mal avec les détails haute fréquence, tels que les bords nets dans les images ou les signaux variant rapidement, à moins que l'architecture ne soit spécifiquement conçue pour les gérer. Cela a motivé le développement d'architectures comme le U-Net pour la segmentation d'images, qui utilise des connexions de saut pour préserver les informations haute fréquence, et l'utilisation de l'encodage positionnel dans les transformeurs pour représenter les caractéristiques haute fréquence dans le traitement du langage naturel.
Deuxièmement, le principe informe les stratégies d'entraînement. Par exemple, l'apprentissage curriculaire, où les modèles sont entraînés sur des exemples plus simples (basse fréquence) en premier, s'aligne sur l'ordre d'apprentissage naturel. De plus, des techniques comme la planification du taux d'apprentissage peuvent être ajustées pour tenir compte de la convergence plus lente des composantes haute fréquence. Le principe a également des implications pour comprendre l'écart de généralisation, car les modèles qui échouent à apprendre les composantes haute fréquence peuvent sous-ajuster sur des tâches nécessitant des détails fins.
Relation avec d'autres concepts
Le principe de fréquence est connecté à plusieurs autres concepts en apprentissage profond. Il est lié à l'idée de régularisation implicite, où la descente de gradient favorise intrinsèquement des solutions plus simples, qui correspondent souvent à des fonctions basse fréquence. Il interagit également avec le phénomène de double descente, où la performance du modèle peut s'améliorer avec la surparamétrisation, en partie parce que les modèles plus grands peuvent capturer les hautes fréquences plus efficacement. De plus, le principe a été lié au succès de techniques comme la normalisation par lots et la normalisation de couche, qui peuvent modifier la dynamique d'apprentissage effective et potentiellement atténuer le biais spectral dans certains cas.
Recherche actuelle et questions ouvertes
La recherche sur le principe de fréquence est en cours, avec plusieurs questions ouvertes. Un domaine clé est de comprendre comment le principe s'étend aux réseaux très profonds et très larges, et comment il interagit avec les architectures modernes comme les grands modèles de langage et les transformeurs. Bien que le principe ait été principalement étudié dans le contexte des réseaux entièrement connectés et convolutifs, son applicabilité aux modèles basés sur l'attention est un domaine d'investigation actif. Une autre question est de savoir si le principe de fréquence peut être exploité pour concevoir des algorithmes d'entraînement plus efficaces, par exemple en pondérant explicitement les contributions de perte par fréquence. Certains chercheurs ont également exploré l'idée de fonctions de perte « conscientes de la fréquence » qui pénalisent plus fortement les erreurs aux hautes fréquences, accélérant potentiellement la convergence.
Au début des années 2020, le principe de fréquence reste une observation empirique robuste avec une base théorique croissante. Il fournit une lentille unificatrice pour comprendre la dynamique d'apprentissage des réseaux de neurones, et il continue d'inspirer de nouvelles recherches tant en théorie qu'en application.