Uma rede neural residual, também conhecida como rede residual ou ResNet, é uma arquitetura de aprendizado profundo na qual as camadas aprendem funções residuais com referência às suas entradas. Desenvolvida em 2015 para reconhecimento de imagem, venceu o ImageNet Large Scale Visual Recognition Challenge (ILSVRC) daquele ano. A inovação central é a conexão residual, um motivo arquitetural que adiciona a entrada de uma sub-rede à sua saída, permitindo o treinamento de redes com centenas de camadas.
A conexão residual estabiliza o treinamento e a convergência em redes neurais profundas, tornando-a um motivo comum em arquiteturas modernas, como modelos Transformer (por exemplo, BERT e modelos GPT, como o ChatGPT), além de sistemas como AlphaGo Zero, AlphaStar e AlphaFold. Seu impacto vai além do reconhecimento de imagem, influenciando o aprendizado profundo em diversos domínios.
Matemática das Conexões Residuais
Em uma rede neural multicamadas, considere uma sub-rede com camadas empilhadas (por exemplo, 2 ou 3). Seja \(H(x; \alpha)\) a sub-rede, onde \(x\) é a entrada e \(\alpha\) é o conjunto de parâmetros. Se \(H^\) é a saída ótima desejada, o aprendizado residual adiciona \(x\) diretamente à saída, de modo que a saída ótima aprendida se torne \(H^ - x\), interpretada como um "residual" em relação a \(x\). A operação de adicionar \(x\) é implementada por meio de uma conexão de salto que realiza um mapeamento de identidade, conectando a entrada da sub-rede à sua saída. Essa conexão é posteriormente denominada "conexão residual".
A função \(F(x; \alpha) = H(x; \alpha) + x\) é frequentemente representada por operações de multiplicação de matrizes intercaladas com funções de ativação e operações de normalização (por exemplo, normalização em lote ou de camadas). Essa sub-rede é chamada de "módulo residual", e uma rede residual profunda empilha esses módulos.
As redes de memória de longo prazo (LSTM) possuem um mecanismo de memória que funciona como uma conexão residual. Em uma LSTM sem porta de esquecimento, uma entrada \(x_t\) é processada por \(F\) e adicionada a uma célula de memória \(c_t\), resultando em \(c_{t+1} = c_t + F(x_t)\). Uma LSTM com porta de esquecimento funciona, essencialmente, como uma rede de rodovia.
Para estabilizar a variância das entradas das camadas, recomenda-se substituir conexões residuais \(x + f(x)\) por \(x/L + f(x)\), onde \(L\) é o número total de camadas residuais.
Projeção Conexões
Se a função \(F\) mapeia de \(\mathbb{R}^n\) para \(\mathbb{R}^m\) com \(n \neq m\), a expressão \(F(x) + x\) fica indefinida. Para lidar com isso, uma projeção conexão é usada: \(y = F(x) + P(x)\), onde \(P\) é tipicamente uma projeção linear definida por \(P(x) = Mx\), com \(M\) uma matriz de dimensões \(m \times n\). A matriz é treinada via retropropagação como qualquer outro parâmetro.
Propagação de Sinal
A introdução de mapeamentos de identidade facilita a propagação de sinais na direção para frente e para trás das camadas. Na propagação direta, se a saída do décimo módulo residual é a entrada do centésimo primeiro bloco, como apresentado, então a próxima entrada é \(x_{\ell+1} = F(x_\ell) + x_\ell\). Essa estrutura aditiva permite que gradientes fluam diretamente pela rede, aliviando o problema do gradiente evanescente que dificultava as redes profundas anteriores.
Contexto Histórico e Desenvolvimento
O motivo da conexão residual já havia sido utilizado antes do ResNet, como em redes LSTM e highways. No entanto, a publicação de 2015 do ResNet o tornou amplamente popular para redes feedforward. O artigo original do ResNet, de autoria de Kaiming He, Xiangyu Zhang, Shaoqing Ren e Jian Sun, introduziu o aprendizado residual profundo para reconhecimento de imagem e alcançou resultados do estado da arte no ILSVRC 2015.
Impacto na Aprendizagem Profunda
O sucesso do ResNet demonstrou que redes muito profundas poderiam ser treinadas de forma eficaz, levando a uma mudança no design de rede neural. A conexão residual se tornou um componente padrão em arquiteturas subsequentes, incluindo modelos Transformer usados em modelo de grande porte. Por exemplo, modelos BERT e GPT dependem de conexões residuais para treinar transformadores. Sistemas como AlphaGo Zero e AlphaFold também incorporam módulos residuais, mostrando a versatilidade desse motivo.
Variantes e Extensões
Várias variantes de redes residuais foram propostas. Os ResNets de pré-ativação movimentam a normalização de lote e a ativação antes das camadas de peso. DireçãoReverse. Os ResNets O amplos aumentam a capacidade em vez da profundidade: obtêm melhor desempenho com menos camadas. O DenseNet conecta cada camada a todas as subsequentes, expandindo a ideia residual. O ResNeXt introduz cardinalidade, dividindo convoluções em caminhos paralelos. Essas variantes destacam a flexibilidade do conceito de residual.
Considerações Práticas
Na prática, conexões residuais são implementadas com conexões de salto, que podem incluir matrizes de projeção quando as dimensões mudam. Técnicas de normalização, como a normalização de lote, costumam ser aplicadas dentro de módulos residuais. A escolha de funções de ativação, como ReLU, afeta a dinâmica do treinamento, tanto quanto a inicialização. Var.
Legado e Direções Futuras
A rede residual se tornou um conceito fundamental em aprendizagem profunda, influenciando tanto a pesquisa acadêmica quanto aplicações industriais. Seus princípios estão embutidos em frameworks modernos e otimizações de hardware. Até o início dos anos 2020, conexões residuais permanecem escolha padrão em muitas arquiteturas, incluindo as de IA generativa e sistemas de inteligência artificial. A ideia de aprender residuais também inspirou outras áreas, como a teoria de mlão e otimização.