Em redes neurais artificiais, a função de ativação de um nó é uma função que calcula a saída do nó com base em suas entradas individuais e seus pesos. É um componente central das redes neurais, determinando se um neurônio deve ser ativado e introduzindo a não linearidade necessária para que a rede aprenda padrões complexos. Sem uma função de ativação não linear, uma rede de múltiplas camadas colapsaria em uma única transformação linear, limitando severamente seu poder expressivo. Funções de ativação são usadas em várias arquiteturas, incluindo transformadores, redes residuais e redes neurais convolucionais, e são centrais para disciplinas como aprendizado de máquina e aprendizado profundo.
A escolha da função de ativação influencia significativamente a dinâmica de treinamento e o desempenho. Exemplos modernos incluem a função logística (sigmoide), usada no modelo de reconhecimento de fala de 2012 desenvolvido por Hinton et al.; a unidade linear retificada (ReLU), usada no modelo de visão computacional AlexNet de 2012 e no modelo ResNet de 2015; e a unidade linear de erro gaussiano (GELU), uma versão suave da ReLU usada no modelo BERT de 2018. Essas funções diferem em propriedades matemáticas como não linearidade, intervalo e diferenciabilidade, que afetam seu comportamento na otimização baseada em gradiente.
Propriedades Matemáticas
Funções de ativação podem ser caracterizadas por várias propriedades matemáticas-chave que influenciam sua eficácia no treinamento de redes neurais.
Não Linearidade
Quando a função de ativação é não linear, uma rede neural de duas camadas pode ser provada como um aproximador universal de funções, ou seja, pode aproximar qualquer função contínua em um domínio compacto com precisão arbitrária. Isso é conhecido como o Teorema da Aproximação Universal. A função de ativação identidade não satisfaz essa propriedade; se todas as camadas usarem ativação identidade, a rede inteira é equivalente a um modelo de camada única, incapaz de aprender mapeamentos complexos.
Intervalo
Quando o intervalo da função de ativação é finito, os métodos de treinamento baseados em gradiente tendem a ser mais estáveis, pois as apresentações de padrões afetam significativamente apenas pesos limitados. Em contraste, quando o intervalo é infinito, o treinamento é geralmente mais eficiente, pois as apresentações de padrões afetam a maioria dos pesos, mas taxas de aprendizado menores são tipicamente necessárias para evitar divergência. Por exemplo, a função sigmoide tem um intervalo finito (0, 1), enquanto a ReLU tem um intervalo infinito [0, ∞).
Continuamente Diferenciável
Funções de ativação continuamente diferenciáveis são desejáveis para permitir métodos de otimização baseados em gradiente. A ReLU não é continuamente diferenciável em zero, mas métodos baseados em gradiente ainda funcionam na prática, embora possam causar problemas como neurônios mortos. A função de ativação de passo binário não é diferenciável em 0 e tem gradiente zero em outros lugares, então métodos baseados em gradiente não progridem com ela. Essas propriedades não determinam conclusivamente o desempenho, mas são considerações importantes.
Categorias de Funções de Ativação
A maioria das funções de ativação comuns pode ser dividida em três categorias: funções de crista, funções radiais e funções de dobra.
Funções de Ativação de Crista
Funções de crista são funções multivariadas que atuam sobre uma combinação linear das variáveis de entrada. Exemplos incluem:
- Ativação linear: \(\phi(\mathbf{v}) = a + \mathbf{v}'\mathbf{b}\)
- Ativação ReLU: \(\phi(\mathbf{v}) = \max(0, a + \mathbf{v}'\mathbf{b})\)
- Ativação de Heaviside: \(\phi(\mathbf{v}) = 1_{a+\mathbf{v}'\mathbf{b}>0}\)
- Ativação logística: \(\phi(\mathbf{v}) = (1 + \exp(-a - \mathbf{v}'\mathbf{b}))^{-1}\)
Em redes neurais inspiradas biologicamente, a função de ativação frequentemente representa a taxa de disparo de um neurônio. A forma mais simples é binária: um neurônio dispara ou não, modelado pela função de passo de Heaviside. Neurônios reais não podem disparar mais rápido que uma certa taxa, o que motiva funções sigmoides com intervalos de saída finitos. Uma função linear com inclinação positiva pode representar o aumento na taxa de disparo com a corrente de entrada.
Funções de Ativação Radiais
Uma classe especial de funções de ativação conhecida como funções de base radial (RBFs) é usada em redes de função de base radial. Essas funções dependem da distância de um vetor central \(\mathbf{c}\). Formas comuns incluem:
- Gaussiana: \(\phi(\mathbf{v}) = \exp(-\|\mathbf{v} - \mathbf{c}\|^2 / (2\sigma^2))\)
- Multiquadráticas: \(\phi(\mathbf{v}) = \sqrt{\|\mathbf{v} - \mathbf{c}\|^2 + a^2}\)
- Multiquadráticas inversas: \(\phi(\mathbf{v}) = (\|\mathbf{v} - \mathbf{c}\|^2 + a^2)^{-1/2}\)
- Splines poli-harmônicos
Aqui, \(\sigma\) e \(a\) controlam a dispersão da função.
Funções de Ativação de Dobra
Funções de ativação de dobra agregam entradas, como calcular a média, o mínimo ou o máximo, e são extensivamente usadas em camadas de agrupamento e camadas de saída para classificação multiclasse. Neste último caso, a ativação Softmax Function é comumente usada para produzir uma distribuição de probabilidade sobre as classes.
Outros Exemplos
Funções periódicas podem servir como funções de ativação, tipicamente a senoide, pois qualquer função periódica pode ser decomposta em senoides via transformada de Fourier. Funções de ativação quadráticas mapeiam \(x \mapsto x^2\).
Funções Saturadas e Não Saturadas
Uma função de ativação \(f\) é saturada se o limite da norma do gradiente tende a zero conforme a magnitude da entrada tende ao infinito, ou seja, \(\lim_{|v| \to \infty} |\nabla f(v)| = 0\). Ela é não saturada se esse limite não for zero. Funções não saturadas como a ReLU são frequentemente preferidas porque são menos propensas a sofrer do problema do gradiente desaparecente, que dificulta o treinamento em redes profundas.
Funções de Ativação Quânticas
Em redes neurais quânticas programadas em computadores quânticos baseados em portas, baseadas em perceptrons quânticos em vez de circuitos quânticos variacionais, a não linearidade das funções de ativação pode ser implementada sem medir a saída de cada perceptron por camada. Ao criar expansões em série de Taylor do argumento calculado pelo perceptron e usar circuitos quânticos adequados para calcular potências até um grau desejado, a propriedade de superposição pode ser preservada. Esses circuitos quânticos podem ser projetados para aproximar qualquer função de ativação clássica arbitrária.
Ver Também
- Função logística
- Retificador (redes neurais)
- Estabilidade (teoria da aprendizagem)
- Função softmax