In künstlichen neuronalen Netzen ist die Aktivierungsfunktion eines Knotens eine Funktion, die die Ausgabe des Knotens basierend auf seinen einzelnen Eingaben und deren Gewichten berechnet. Sie ist eine Kernkomponente von neuronalen Netzen, da sie bestimmt, ob ein Neuron aktiviert werden soll, und die Nichtlinearität einführt, die für das Lernen komplexer Muster erforderlich ist. Ohne eine nichtlineare Aktivierungsfunktion würde ein mehrschichtiges Netzwerk zu einer einzigen linearen Transformation kollabieren, was seine Ausdruckskraft erheblich einschränkt. Aktivierungsfunktionen werden in verschiedenen Architekturen verwendet, darunter Transformatoren, Residualnetzwerke und faltende neuronale Netze, und sind zentral für Disziplinen wie maschinelles Lernen und tiefes Lernen.
Die Wahl der Aktivierungsfunktion beeinflusst die Trainingsdynamik und die Leistung erheblich. Moderne Beispiele umfassen die logistische (Sigmoid-)Funktion, die im Spracherkennungsmodell von 2012 verwendet wurde, das von Hinton et al. entwickelt wurde; die gleichgerichtete lineare Einheit (ReLU), die im Computervisionsmodell AlexNet von 2012 und im ResNet-Modell von 2015 verwendet wurde; und die Gaußsche Fehler-Lineareinheit (GELU), eine glatte Version von ReLU, die im BERT-Modell von 2018 verwendet wird. Diese Funktionen unterscheiden sich in mathematischen Eigenschaften wie Nichtlinearität, Wertebereich und Differenzierbarkeit, die ihr Verhalten bei gradientenbasierten Optimierungsverfahren beeinflussen.
Mathematische Eigenschaften
Aktivierungsfunktionen können durch mehrere wichtige mathematische Eigenschaften charakterisiert werden, die ihre Wirksamkeit beim Training neuronaler Netze beeinflussen.
Nichtlinearität
Wenn die Aktivierungsfunktion nichtlinear ist, kann ein zweischichtiges neuronales Netzwerk als universeller Funktionsapproximator nachgewiesen werden, was bedeutet, dass es jede kontinuierliche Funktion auf einem kompakten Definitionsbereich mit beliebiger Genauigkeit approximieren kann. Dies ist als Universal Approximation Theorem bekannt. Die Identitätsaktivierungsfunktion erfüllt diese Eigenschaft nicht; wenn alle Schichten die Identitätsaktivierung verwenden, ist das gesamte Netzwerk äquivalent zu einem einschichtigen Modell, das nicht in der Lage ist, komplexe Abbildungen zu lernen.
Wertebereich
Wenn der Wertebereich der Aktivierungsfunktion endlich ist, sind gradientenbasierte Trainingsmethoden tendenziell stabiler, da Musterpräsentationen nur begrenzte Gewichte signifikant beeinflussen. Im Gegensatz dazu ist das Training bei unendlichem Wertebereich im Allgemeinen effizienter, da Musterpräsentationen die meisten Gewichte beeinflussen, aber typischerweise kleinere Lernraten erforderlich sind, um Divergenz zu verhindern. Beispielsweise hat die Sigmoidfunktion einen endlichen Wertebereich (0, 1), während ReLU einen unendlichen Wertebereich [0, ∞) hat.
Stetig Differenzierbar
Stetig differenzierbare Aktivierungsfunktionen sind wünschenswert, um gradientenbasierte Optimierungsverfahren zu ermöglichen. ReLU ist bei Null nicht stetig differenzierbar, dennoch funktionieren gradientenbasierte Methoden in der Praxis, obwohl dies Probleme wie tote Neuronen verursachen kann. Die binäre Schrittfunktion ist bei 0 nicht differenzierbar und hat an anderer Stelle einen Gradienten von Null, sodass gradientenbasierte Methoden mit ihr keine Fortschritte erzielen. Diese Eigenschaften bestimmen die Leistung nicht endgültig, sind aber wichtige Überlegungen.
Kategorien von Aktivierungsfunktionen
Die meisten gängigen Aktivierungsfunktionen können in drei Kategorien unterteilt werden: Riegelfunktionen, Radialfunktionen und Faltungsfunktionen.
Riegel-Aktivierungsfunktionen
Riegelfunktionen sind multivariate Funktionen, die auf einer linearen Kombination von Eingabevariablen wirken. Beispiele umfassen:
- Lineare Aktivierung: \(\phi(\mathbf{v}) = a + \mathbf{v}'\mathbf{b}\)
- ReLU-Aktivierung: \(\phi(\mathbf{v}) = \max(0, a + \mathbf{v}'\mathbf{b})\)
- Heaviside-Aktivierung: \(\phi(\mathbf{v}) = 1_{a+\mathbf{v}'\mathbf{b}>0}\)
- Logistische Aktivierung: \(\phi(\mathbf{v}) = (1 + \exp(-a - \mathbf{v}'\mathbf{b}))^{-1}\)
In biologisch inspirierten neuronalen Netzen repräsentiert die Aktivierungsfunktion oft die Feuerrate eines Neurons. Die einfachste Form ist binär: Ein Neuron feuert entweder oder nicht, modelliert durch die Heaviside-Sprungfunktion. Echte Neuronen können nicht schneller als eine bestimmte Rate feuern, was Sigmoidfunktionen mit endlichen Ausgabebereichen motiviert. Eine lineare Funktion mit positiver Steigung kann die Zunahme der Feuerrate mit dem Eingabestrom darstellen.
Radiale Aktivierungsfunktionen
Eine spezielle Klasse von Aktivierungsfunktionen, bekannt als radiale Basisfunktionen (RBFs), wird in Netzwerken mit radialen Basisfunktionen verwendet. Diese Funktionen hängen vom Abstand zu einem Zentrumsvektor \(\mathbf{c}\) ab. Häufige Formen umfassen:
- Gaußsche: \(\phi(\mathbf{v}) = \exp(-\|\mathbf{v} - \mathbf{c}\|^2 / (2\sigma^2))\)
- Multiquadratics: \(\phi(\mathbf{v}) = \sqrt{\|\mathbf{v} - \mathbf{c}\|^2 + a^2}\)
- Inverse Multiquadratics: \(\phi(\mathbf{v}) = (\|\mathbf{v} - \mathbf{c}\|^2 + a^2)^{-1/2}\)
- Polyharmonische Splines
Hier steuern \(\sigma\) und \(a\) die Streuung der Funktion.
Faltungs-Aktivierungsfunktionen
Faltungs-Aktivierungsfunktionen aggregieren Eingaben, wie das Bilden des Mittelwerts, Minimums oder Maximums, und werden häufig in Pooling-Schichten und Ausgabeschichten für Mehrklassenklassifikation verwendet. In letzteren wird die Softmax-Aktivierung üblicherweise verwendet, um eine Wahrscheinlichkeitsverteilung über Klassen zu erzeugen.
Andere Beispiele
Periodische Funktionen können als Aktivierungsfunktionen dienen, typischerweise die Sinusfunktion, da jede periodische Funktion über die Fourier-Transformation in Sinusfunktionen zerlegt werden kann. Quadratische Aktivierungsfunktionen bilden \(x \mapsto x^2\) ab.
Sättigende und nicht-sättigende Funktionen
Eine Aktivierungsfunktion \(f\) ist sättigend, wenn der Grenzwert der Gradientennorm gegen Null geht, wenn die Eingabegröße gegen Unendlich geht, d.h. \(\lim_{|v| \to \infty} |\nabla f(v)| = 0\). Sie ist nicht-sättigend, wenn dieser Grenzwert nicht Null ist. Nicht-sättigende Funktionen wie ReLU werden oft bevorzugt, da sie weniger anfällig für das Problem des verschwindenden Gradienten sind, das das Training in tiefen Netzwerken behindert.
Quanten-Aktivierungsfunktionen
In quantenneuronalen Netzen, die auf Gate-Modell-Quantencomputern programmiert sind und auf Quantenperzeptronen statt auf variationellen Quantenschaltungen basieren, kann die Nichtlinearität von Aktivierungsfunktionen implementiert werden, ohne die Ausgabe jedes Perzeptrons pro Schicht zu messen. Durch die Erstellung von Taylor-Reihenentwicklungen des vom Perzeptron berechneten Arguments und die Verwendung geeigneter Quantenschaltungen zur Berechnung von Potenzen bis zu einem gewünschten Grad kann die Superpositionseigenschaft erhalten bleiben. Diese Quantenschaltungen können so entworfen werden, dass sie jede beliebige klassische Aktivierungsfunktion approximieren.
Siehe auch
- Logistische Funktion
- Gleichrichter (neuronale Netze)
- Stabilität (Lerntheorie)
- Softmax-Funktion