Eine Sigmoidfunktion ist jede mathematische Funktion, deren Graph eine charakteristische S-förmige oder sigmoidale Kurve aufweist. In der Mathematik ist eine Sigmoidfunktion beschränkt, differenzierbar und für alle reellen Eingabewerte definiert, mit einer positiven Ableitung an jedem Punkt. Der Begriff wird am häufigsten mit der logistischen Funktion assoziiert, die jede reelle Zahl auf einen Wert zwischen 0 und 1 abbildet, umfasst aber auch eine breitere Familie von Kurven, die in Statistik, Ingenieurwesen und Machine learning verwendet werden.
Im Kontext von Artificial intelligence- und Neural network-Modellen wird der Begriff „Sigmoidfunktion“ häufig als Synonym für die logistische Funktion verwendet. Diese Funktion spielte eine grundlegende Rolle in frühen Deep learning-Architekturen als Aktivierungsfunktion, wurde jedoch in vielen modernen Systemen weitgehend durch Alternativen wie das gleichgerichtete lineare Element ersetzt. Sigmoidkurven treten in der Statistik auch natürlich als kumulative Verteilungsfunktionen auf, einschließlich derer, die aus der Normal- und der Studentschen t-Verteilung abgeleitet werden.
Definition und Eigenschaften
Eine Sigmoidfunktion ist eine beschränkte, differenzierbare, reelle Funktion, die für alle reellen Eingaben definiert ist, mit einer positiven Ableitung an jedem Punkt. Ihr Graph wird durch ein Paar horizontaler Asymptoten begrenzt, wenn die Eingabe gegen positive oder negative Unendlichkeit strebt. Die Funktion ist monoton, typischerweise steigend, und ihre erste Ableitung ist glockenförmig. Umgekehrt ergibt das Integral einer beliebigen stetigen, nicht-negativen, glockenförmigen Funktion mit einem einzigen lokalen Maximum eine sigmoidale Kurve.
Sigmoidfunktionen sind konvex für Werte unterhalb eines bestimmten Wendepunkts und konkav für Werte oberhalb; in vielen gängigen Beispielen liegt dieser Punkt bei null. Die logistische Funktion hat beispielsweise ihren Wendepunkt bei x = 0, wo ihr Wert 0,5 beträgt. Die hyperbolische Tangensfunktion, eine weitere weit verbreitete Sigmoidfunktion, reicht von -1 bis 1 und ist symmetrisch um den Ursprung.
Beispiele und Varianten
Zu den gängigen Sigmoidfunktionen gehören die logistische Funktion, der hyperbolische Tangens (tanh), der Arkustangens und die Fehlerfunktion. Die logistische Funktion ist definiert als f(x) = 1 / (1 + e^(-x)) und erzeugt Ausgaben im offenen Intervall (0, 1). Der hyperbolische Tangens, tanh(x) = (e^x - e^(-x)) / (e^x + e^(-x)), bildet Eingaben auf (-1, 1) ab und wird in Deep learning oft bevorzugt, da seine Ausgaben nullzentriert sind, was die Konvergenz während des Trainings verbessern kann.
Zu den Sonderfällen gehören die Gompertz-Kurve, die zur Modellierung von Systemen verwendet wird, die bei großen x-Werten sättigen, sowie die Ogee-Kurve, die bei der Überlaufgestaltung einiger Staudämme Anwendung findet. Die Heaviside-Sprungfunktion, die augenblicklich zwischen 0 und 1 wechselt, ist ein Grenzfall sigmoidalen Verhaltens. In der Statistik dienen Sigmoidkurven als kumulative Verteilungsfunktionen, wie die Integrale der logistischen Dichte, der Normalverteilungsdichte und der Wahrscheinlichkeitsdichtefunktionen der Studentschen t-Verteilung.
Rolle in neuronalen Netzen
Sigmoidfunktionen, insbesondere die logistischen und hyperbolischen Tangensvarianten, werden seit den Anfängen des Machine learning als Aktivierungsfunktionen für künstliche Neuronen verwendet. Eine Aktivierungsfunktion führt Nichtlinearität in ein Neural network ein und ermöglicht es ihm, komplexe Muster zu lernen. Der Ausgabebereich der logistischen Sigmoidfunktion von (0, 1) machte sie natürlich für probabilistische Interpretationen, wie die Vorhersage der Wahrscheinlichkeit eines binären Ergebnisses.
Die logistische Sigmoidfunktion leidet jedoch unter dem Problem verschwindender Gradienten: Bei großen positiven oder negativen Eingaben nähert sich ihre Ableitung null, was das Training in tiefen Netzwerken verlangsamen oder stoppen kann. Diese Einschränkung motivierte die Entwicklung von Alternativen wie dem gleichgerichteten linearen Element (ReLU) und seinen Varianten, die heute in den meisten Transformer (architecture)-basierten Architekturen Standard sind, einschließlich derer, die in Large language model-Systemen verwendet werden. Trotz dieser Verschiebung bleiben Sigmoidfunktionen in bestimmten Kontexten wichtig, wie in der Ausgabeschicht binärer Klassifikatoren und in Gating-Mechanismen innerhalb rekurrenter Netzwerke.
Die logistische Sigmoidfunktion ist invertierbar, und ihre Umkehrung ist die Logit-Funktion, die Wahrscheinlichkeiten zurück auf die reelle Zahlengerade abbildet. Diese Eigenschaft liegt der logistischen Regression zugrunde, einer grundlegenden statistischen Technik, die Machine learning und klassische Statistik verbindet.
Theoretische Klassifikation
Eine mathematische Theorie, vorgeschlagen vom Forscher Grebenc, klassifiziert unitäre Sigmoidfunktionen in drei Arten basierend auf ihrem asymptotischen Verhalten und ihrer Oszillation nahe der Asymptoten. Eine unitäre Sigmoidfunktion ist auf den Einheitsbereich normalisiert, typischerweise mit unteren und oberen Asymptoten bei 0 und 1, und kann in der allgemeinen Form y = A * S(f(x)) + B ausgedrückt werden, wobei S eine steigende Sigmoidfunktion ist, f(x) eine Transformation der unabhängigen Variablen darstellt und A und B Skalierung und Verschiebung steuern.
Funktionen der ersten Art nähern sich ihren Asymptoten monoton ohne Oszillation, einschließlich der logistischen Funktion und verwandter Verallgemeinerungen. Die zweite Art oszilliert nahe der oberen Asymptote, während sie einen insgesamt sigmoidalen Übergang beibehält. Die dritte Art oszilliert nahe sowohl der unteren als auch der oberen Asymptote. Die Theorie listet auch 30 Konstruktionsmethoden zur Erzeugung von Sigmoidfunktionen auf, die von algebraischen Transformationen und Integration glockenförmiger Funktionen bis hin zu Lösungen von Differentialgleichungen, rekursiven Schemata und chaotischen Systemen reichen. Diese Methoden bieten einen systematischen Rahmen für die Entwicklung von Sigmoidkurven mit maßgeschneiderten Eigenschaften für spezifische Anwendungen in Artificial intelligence und anderen Bereichen.
Anwendungen jenseits von KI
Sigmoidfunktionen reichen über die Neural network-Aktivierung hinaus. In der Regelungstechnik und im Ingenieurwesen modellieren sie Sättigungseffekte in physikalischen Systemen. In der Biologie beschreibt die Gompertz-Kurve Wachstumsprozesse wie Tumorwachstum oder Populationsdynamik. In der Wirtschaftswissenschaft repräsentieren Sigmoidkurven die Adoption neuer Technologien im Laufe der Zeit. Die Vielseitigkeit der S-förmigen Kurve mit ihrem sanften Übergang zwischen zwei Zuständen macht sie zu einem grundlegenden Werkzeug in verschiedenen Disziplinen, von der Xerox PARC-Ära der Computerforschung bis hin zu moderner Amazon Web Services-Cloud-Infrastruktur, die Deep learning-Workloads hostet.