En las redes neuronales artificiales, la función de activación de un nodo es una función que calcula la salida del nodo basándose en sus entradas individuales y sus pesos. Es un componente central de las redes neuronales, que determina si una neurona debe activarse e introduce la no linealidad necesaria para que la red aprenda patrones complejos. Sin una función de activación no lineal, una red multicapa colapsaría en una única transformación lineal, limitando severamente su poder expresivo. Las funciones de activación se utilizan en diversas arquitecturas, incluyendo transformers, redes residuales y redes neuronales convolucionales, y son centrales en disciplinas como aprendizaje automático y aprendizaje profundo.
La elección de la función de activación influye significativamente en la dinámica de entrenamiento y el rendimiento. Ejemplos modernos incluyen la función logística (sigmoide), utilizada en el modelo de reconocimiento de voz de 2012 desarrollado por Hinton et al.; la unidad lineal rectificada (ReLU), utilizada en el modelo de visión por computadora AlexNet de 2012 y en el modelo ResNet de 2015; y la unidad lineal de error gaussiano (GELU), una versión suave de ReLU utilizada en el modelo BERT de 2018. Estas funciones difieren en propiedades matemáticas como la no linealidad, el rango y la diferenciabilidad, que afectan su comportamiento en la optimización basada en gradientes.
Propiedades Matemáticas
Las funciones de activación pueden caracterizarse por varias propiedades matemáticas clave que influyen en su eficacia para entrenar redes neuronales.
No Linealidad
Cuando la función de activación es no lineal, se puede demostrar que una red neuronal de dos capas es un aproximador universal de funciones, lo que significa que puede aproximar cualquier función continua en un dominio compacto con precisión arbitraria. Esto se conoce como el Teorema de Aproximación Universal. La función de activación identidad no satisface esta propiedad; si todas las capas usan activación identidad, toda la red es equivalente a un modelo de una sola capa, incapaz de aprender mapeos complejos.
Rango
Cuando el rango de la función de activación es finito, los métodos de entrenamiento basados en gradientes tienden a ser más estables porque las presentaciones de patrones afectan significativamente solo a pesos limitados. En contraste, cuando el rango es infinito, el entrenamiento es generalmente más eficiente porque las presentaciones de patrones afectan a la mayoría de los pesos, pero se necesitan tasas de aprendizaje más pequeñas para prevenir la divergencia. Por ejemplo, la función sigmoide tiene un rango finito (0, 1), mientras que ReLU tiene un rango infinito [0, ∞).
Continuamente Diferenciable
Las funciones de activación continuamente diferenciables son deseables para permitir métodos de optimización basados en gradientes. ReLU no es continuamente diferenciable en cero, pero los métodos basados en gradientes aún funcionan en la práctica, aunque puede causar problemas como neuronas muertas. La función de activación de paso binario no es diferenciable en 0 y tiene gradiente cero en el resto, por lo que los métodos basados en gradientes no progresan con ella. Estas propiedades no determinan concluyentemente el rendimiento, pero son consideraciones importantes.
Categorías de Funciones de Activación
La mayoría de las funciones de activación comunes se pueden dividir en tres categorías: funciones de cresta, funciones radiales y funciones de plegado.
Funciones de Activación de Cresta
Las funciones de cresta son funciones multivariadas que actúan sobre una combinación lineal de variables de entrada. Ejemplos incluyen:
- Activación lineal: \(\phi(\mathbf{v}) = a + \mathbf{v}'\mathbf{b}\)
- Activación ReLU: \(\phi(\mathbf{v}) = \max(0, a + \mathbf{v}'\mathbf{b})\)
- Activación de Heaviside: \(\phi(\mathbf{v}) = 1_{a+\mathbf{v}'\mathbf{b}>0}\)
- Activación logística: \(\phi(\mathbf{v}) = (1 + \exp(-a - \mathbf{v}'\mathbf{b}))^{-1}\)
En redes neuronales inspiradas biológicamente, la función de activación a menudo representa la tasa de disparo de una neurona. La forma más simple es binaria: una neurona dispara o no, modelada por la función escalón de Heaviside. Las neuronas reales no pueden disparar más rápido que una cierta tasa, lo que motiva funciones sigmoides con rangos de salida finitos. Una función lineal con pendiente positiva puede representar el aumento en la tasa de disparo con la corriente de entrada.
Funciones de Activación Radiales
Una clase especial de funciones de activación conocidas como funciones de base radial (RBF) se utilizan en redes de funciones de base radial. Estas funciones dependen de la distancia desde un vector central \(\mathbf{c}\). Formas comunes incluyen:
- Gaussiana: \(\phi(\mathbf{v}) = \exp(-\|\mathbf{v} - \mathbf{c}\|^2 / (2\sigma^2))\)
- Multicuadráticas: \(\phi(\mathbf{v}) = \sqrt{\|\mathbf{v} - \mathbf{c}\|^2 + a^2}\)
- Multicuadráticas inversas: \(\phi(\mathbf{v}) = (\|\mathbf{v} - \mathbf{c}\|^2 + a^2)^{-1/2}\)
- Splines poliarrmónicos
Aquí, \(\sigma\) y \(a\) controlan la dispersión de la función.
Funciones de Activación de Plegado
Las funciones de activación de plegado agregan entradas, como tomar la media, el mínimo o el máximo, y se utilizan extensamente en capas de agrupación y capas de salida para clasificación multiclase. En este último caso, la activación Softmax Function se usa comúnmente para producir una distribución de probabilidad sobre las clases.
Otros Ejemplos
Las funciones periódicas pueden servir como funciones de activación, típicamente la sinusoide, ya que cualquier función periódica puede descomponerse en sinusoides mediante la transformada de Fourier. Las funciones de activación cuadráticas mapean \(x \mapsto x^2\).
Funciones Saturadas y No Saturadas
Una función de activación \(f\) es saturada si el límite de la norma del gradiente tiende a cero cuando la magnitud de la entrada tiende a infinito, es decir, \(\lim_{|v| \to \infty} |\nabla f(v)| = 0\). Es no saturada si este límite no es cero. Las funciones no saturadas como ReLU a menudo se prefieren porque es menos probable que sufran el problema del gradiente desvaneciente, que dificulta el entrenamiento en redes profundas.
Funciones de Activación Cuánticas
En redes neuronales cuánticas programadas en computadoras cuánticas basadas en compuertas, basadas en perceptrones cuánticos en lugar de circuitos cuánticos variacionales, la no linealidad de las funciones de activación puede implementarse sin medir la salida de cada perceptrón por capa. Al crear expansiones de series de Taylor del argumento calculado por el perceptrón, y usando circuitos cuánticos adecuados para calcular potencias hasta un grado deseado, la propiedad de superposición puede preservarse. Estos circuitos cuánticos pueden diseñarse para aproximar cualquier función de activación clásica arbitraria.
Véase También
- Función logística
- Rectificador (redes neuronales)
- Estabilidad (teoría del aprendizaje)
- Función softmax