Une fonction sigmoïde est toute fonction mathématique dont le graphe présente une courbe caractéristique en forme de S, ou courbe sigmoïde. En mathématiques, une fonction sigmoïde est bornée, différentiable et définie pour toutes les valeurs réelles en entrée, avec une dérivée positive en chaque point. Le terme est le plus souvent associé à la fonction logistique, qui mappe tout nombre réel à une valeur entre 0 et 1, mais il englobe également une famille plus large de courbes utilisées en statistiques, en ingénierie et en apprentissage automatique.
Dans le contexte des modèles d'intelligence artificielle et de réseau de neurones, le terme « fonction sigmoïde » est fréquemment utilisé comme synonyme de la fonction logistique. Cette fonction a joué un rôle fondamental dans les premières architectures de apprentissage profond en tant que fonction d'activation, bien qu'elle ait été largement supplantée par des alternatives telles que l'unité linéaire rectifiée dans de nombreux systèmes modernes. Les courbes sigmoïdes apparaissent également naturellement comme fonctions de répartition en statistiques, y compris celles dérivées des distributions normale et de Student.
Définition et propriétés
Une fonction sigmoïde est une fonction réelle bornée, différentiable, définie pour toutes les entrées réelles, avec une dérivée positive en chaque point. Son graphe est contraint par une paire d'asymptotes horizontales lorsque l'entrée approche l'infini positif ou négatif. La fonction est monotone, généralement croissante, et sa première dérivée est en forme de cloche. Inversement, l'intégrale de toute fonction continue, non négative, en forme de cloche avec un maximum local unique donne une courbe sigmoïde.
Les fonctions sigmoïdes sont convexes pour les valeurs inférieures à un point d'inflexion particulier et concaves pour les valeurs supérieures ; dans de nombreux exemples courants, ce point est à zéro. La fonction logistique, par exemple, a son point d'inflexion à x = 0, où sa valeur est 0,5. La fonction tangente hyperbolique, une autre sigmoïde largement utilisée, varie de -1 à 1 et est symétrique par rapport à l'origine.
Exemples et variantes
Les fonctions sigmoïdes courantes incluent la fonction logistique, la tangente hyperbolique (tanh), l'arctangente et la fonction d'erreur. La fonction logistique est définie comme f(x) = 1 / (1 + e^(-x)), produisant des sorties dans l'intervalle ouvert (0, 1). La tangente hyperbolique, tanh(x) = (e^x - e^(-x)) / (e^x + e^(-x)), mappe les entrées à (-1, 1) et est souvent préférée en apprentissage profond car ses sorties sont centrées sur zéro, ce qui peut améliorer la convergence pendant l'entraînement.
Les cas spéciaux incluent la courbe de Gompertz, utilisée pour modéliser des systèmes qui saturent à de grandes valeurs de x, et la courbe ogee, appliquée dans la conception de déversoirs de certains barrages. La fonction échelon de Heaviside, qui transitionne instantanément entre 0 et 1, est un cas limite du comportement sigmoïde. En statistiques, les courbes sigmoïdes servent de fonctions de répartition, telles que les intégrales de la densité logistique, de la densité normale et des fonctions de densité de probabilité de Student.
Rôle dans les réseaux de neurones
Les fonctions sigmoïdes, en particulier les variantes logistique et tangente hyperbolique, ont été utilisées comme fonctions d'activation pour les neurones artificiels depuis les débuts du apprentissage automatique. Une fonction d'activation introduit une non-linéarité dans un réseau de neurones, lui permettant d'apprendre des motifs complexes. La plage de sortie de la sigmoïde logistique, (0, 1), la rendait naturelle pour des interprétations probabilistes, comme la prédiction de la probabilité d'un résultat binaire.
Cependant, la sigmoïde logistique souffre du problème du gradient vanishing : pour de grandes entrées positives ou négatives, sa dérivée approche zéro, ce qui peut ralentir ou arrêter l'entraînement dans les réseaux profonds. Cette limitation a motivé le développement d'alternatives comme l'unité linéaire rectifiée (ReLU) et ses variantes, qui sont désormais standard dans la plupart des architectures basées sur les transformeurs, y compris celles utilisées dans les systèmes de grand modèle de langage. Malgré ce changement, les fonctions sigmoïdes restent importantes dans des contextes spécifiques, comme la couche de sortie des classifieurs binaires et dans les mécanismes de portes au sein des réseaux récurrents.
La sigmoïde logistique est inversible, et son inverse est la fonction logit, qui mappe les probabilités de retour à la ligne des nombres réels. Cette propriété sous-tend la régression logistique, une technique statistique fondamentale qui fait le pont entre le apprentissage automatique et les statistiques classiques.
Classification théorique
Une théorie mathématique, proposée par le chercheur Grebenc, classe les fonctions sigmoïdes unitaires en trois types en fonction de leur comportement asymptotique et de leur oscillation près des asymptotes. Une fonction sigmoïde unitaire est normalisée à la plage unitaire, généralement avec des asymptotes inférieure et supérieure à 0 et 1, et peut être exprimée sous la forme générale y = A * S(f(x)) + B, où S est une fonction sigmoïde croissante, f(x) est une transformation de la variable indépendante, et A et B contrôlent la mise à l'échelle et la translation.
Les fonctions du premier type approchent leurs asymptotes de manière monotone sans oscillation, y compris la fonction logistique et les généralisations associées. Le deuxième type oscille près de l'asymptote supérieure tout en préservant une transition sigmoïde globale. Le troisième type oscille près des asymptotes inférieure et supérieure. La théorie liste également 30 méthodes de construction pour générer des fonctions sigmoïdes, allant des transformations algébriques et de l'intégration de fonctions en forme de cloche aux solutions d'équations différentielles, aux schémas récursifs et aux systèmes chaotiques. Ces méthodes fournissent un cadre systématique pour concevoir des courbes sigmoïdes avec des propriétés adaptées à des applications spécifiques en intelligence artificielle et dans d'autres domaines.
Applications au-delà de l'IA
Les fonctions sigmoïdes s'étendent au-delà de l'activation des réseaux de neurones. En théorie du contrôle et en ingénierie, elles modélisent les effets de saturation dans les systèmes physiques. En biologie, la courbe de Gompertz décrit des processus de croissance tels que la croissance tumorale ou la dynamique des populations. En économie, les courbes sigmoïdes représentent l'adoption de nouvelles technologies au fil du temps. La polyvalence de la courbe en forme de S, avec sa transition douce entre deux états, en fait un outil fondamental dans toutes les disciplines, de la recherche informatique de l'ère Xerox PARC à l'infrastructure cloud moderne de Amazon Web Services qui héberge des charges de travail de apprentissage profond.