Dans les réseaux de neurones artificiels, la fonction d'activation d'un nœud est une fonction qui calcule la sortie du nœud en fonction de ses entrées individuelles et de leurs poids. C'est un composant central des réseaux de neurones, déterminant si un neurone doit être activé et introduisant la non-linéarité nécessaire pour que le réseau apprenne des motifs complexes. Sans fonction d'activation non linéaire, un réseau multicouche se réduirait à une seule transformation linéaire, limitant sévèrement sa puissance expressive. Les fonctions d'activation sont utilisées dans diverses architectures, notamment les transformeurs, les réseaux résiduels et les réseaux de neurones convolutifs, et sont centrales dans des disciplines telles que le apprentissage automatique et le apprentissage profond.
Le choix de la fonction d'activation influence considérablement la dynamique d'entraînement et les performances. Parmi les exemples modernes figurent la fonction logistique (sigmoïde), utilisée dans le modèle de reconnaissance vocale de 2012 développé par Hinton et al. ; l'unité linéaire rectifiée (ReLU), utilisée dans le modèle de vision par ordinateur AlexNet de 2012 et le modèle ResNet de 2015 ; et l'unité linéaire à erreur gaussienne (GELU), une version lisse de ReLU utilisée dans le modèle BERT de 2018. Ces fonctions diffèrent par leurs propriétés mathématiques telles que la non-linéarité, l'intervalle et la différentiabilité, ce qui affecte leur comportement dans l'optimisation par descente de gradient.
Propriétés mathématiques
Les fonctions d'activation peuvent être caractérisées par plusieurs propriétés mathématiques clés qui influencent leur efficacité dans l'entraînement des réseaux de neurones.
Non-linéarité
Lorsque la fonction d'activation est non linéaire, un réseau de neurones à deux couches peut être prouvé comme un approximateur universel de fonctions, ce qui signifie qu'il peut approximer toute fonction continue sur un domaine compact avec une précision arbitraire. C'est ce qu'on appelle le théorème d'approximation universelle. La fonction d'activation identité ne satisfait pas cette propriété ; si toutes les couches utilisent l'activation identité, le réseau entier équivaut à un modèle à une seule couche, incapable d'apprendre des mappings complexes.
Intervalle
Lorsque l'intervalle de la fonction d'activation est fini, les méthodes d'entraînement par gradient tendent à être plus stables car les présentations de motifs n'affectent de manière significative que des poids limités. En revanche, lorsque l'intervalle est infini, l'entraînement est généralement plus efficace car les présentations de motifs affectent la plupart des poids, mais des taux d'apprentissage plus faibles sont généralement nécessaires pour éviter la divergence. Par exemple, la fonction sigmoïde a un intervalle fini (0, 1), tandis que ReLU a un intervalle infini [0, ∞).
Continûment différentiable
Les fonctions d'activation continûment différentiables sont souhaitables pour permettre les méthodes d'optimisation par gradient. ReLU n'est pas continûment différentiable à zéro, mais les méthodes par gradient fonctionnent néanmoins en pratique, bien que cela puisse causer des problèmes tels que des neurones morts. La fonction d'activation par échelon binaire n'est pas différentiable à 0 et a un gradient nul ailleurs, donc les méthodes par gradient ne progressent pas avec elle. Ces propriétés ne déterminent pas de manière concluante les performances mais sont des considérations importantes.
Catégories de fonctions d'activation
La plupart des fonctions d'activation courantes peuvent être divisées en trois catégories : les fonctions de crête, les fonctions radiales et les fonctions de pliage.
Fonctions d'activation de crête
Les fonctions de crête sont des fonctions multivariées agissant sur une combinaison linéaire des variables d'entrée. Les exemples incluent :
- Activation linéaire : \(\phi(\mathbf{v}) = a + \mathbf{v}'\mathbf{b}\)
- Activation ReLU : \(\phi(\mathbf{v}) = \max(0, a + \mathbf{v}'\mathbf{b})\)
- Activation Heaviside : \(\phi(\mathbf{v}) = 1_{a+\mathbf{v}'\mathbf{b}>0}\)
- Activation logistique : \(\phi(\mathbf{v}) = (1 + \exp(-a - \mathbf{v}'\mathbf{b}))^{-1}\)
Dans les réseaux de neurones inspirés de la biologie, la fonction d'activation représente souvent le taux de décharge d'un neurone. La forme la plus simple est binaire : un neurone décharge ou ne décharge pas, modélisé par la fonction échelon de Heaviside. Les neurones réels ne peuvent pas décharger plus vite qu'un certain taux, ce qui motive les fonctions sigmoïdes avec des intervalles de sortie finis. Une fonction linéaire avec une pente positive peut représenter l'augmentation du taux de décharge avec le courant d'entrée.
Fonctions d'activation radiales
Une classe spéciale de fonctions d'activation connues sous le nom de fonctions de base radiales (RBF) est utilisée dans les réseaux de fonctions de base radiales. Ces fonctions dépendent de la distance par rapport à un vecteur central \(\mathbf{c}\). Les formes courantes incluent :
- Gaussienne : \(\phi(\mathbf{v}) = \exp(-\|\mathbf{v} - \mathbf{c}\|^2 / (2\sigma^2))\)
- Multiquadratiques : \(\phi(\mathbf{v}) = \sqrt{\|\mathbf{v} - \mathbf{c}\|^2 + a^2}\)
- Multiquadratiques inverses : \(\phi(\mathbf{v}) = (\|\mathbf{v} - \mathbf{c}\|^2 + a^2)^{-1/2}\)
- Splines polyharmoniques
Ici, \(\sigma\) et \(a\) contrôlent l'étalement de la fonction.
Fonctions d'activation de pliage
Les fonctions d'activation de pliage agrègent les entrées, comme en prenant la moyenne, le minimum ou le maximum, et sont largement utilisées dans les couches de mise en commun et les couches de sortie pour la classification multiclasse. Dans ce dernier cas, l'activation Softmax Function est couramment utilisée pour produire une distribution de probabilité sur les classes.
Autres exemples
Les fonctions périodiques peuvent servir de fonctions d'activation, typiquement la sinusoïde, car toute fonction périodique peut être décomposée en sinusoïdes via la transformée de Fourier. Les fonctions d'activation quadratiques mappent \(x \mapsto x^2\).
Fonctions saturantes et non saturantes
Une fonction d'activation \(f\) est saturante si la limite de la norme du gradient tend vers zéro lorsque la magnitude de l'entrée tend vers l'infini, c'est-à-dire \(\lim_{|v| \to \infty} |\nabla f(v)| = 0\). Elle est non saturante si cette limite n'est pas nulle. Les fonctions non saturantes comme ReLU sont souvent préférées car elles sont moins susceptibles de souffrir du problème du gradient vanishing, qui entrave l'entraînement des réseaux profonds.
Fonctions d'activation quantiques
Dans les réseaux de neurones quantiques programmés sur des ordinateurs quantiques à modèle de portes, basés sur des perceptrons quantiques plutôt que sur des circuits quantiques variationnels, la non-linéarité des fonctions d'activation peut être implémentée sans mesurer la sortie de chaque perceptron par couche. En créant des expansions en série de Taylor de l'argument calculé par le perceptron, et en utilisant des circuits quantiques appropriés pour calculer les puissances jusqu'à un degré souhaité, la propriété de superposition peut être préservée. Ces circuits quantiques peuvent être conçus pour approximer toute fonction d'activation classique arbitraire.
Voir aussi
- Fonction logistique
- Redresseur (réseaux de neurones)
- Stabilité (théorie de l'apprentissage)
- Fonction softmax