ResNet, abreviação de residual neural network (rede neural residual), é uma arquitetura de aprendizagem profunda na qual as camadas aprendem funções residuais com referência às suas entradas. Desenvolvida em 2015 para reconhecimento de imagens, venceu o ImageNet Large Scale Visual Recognition Challenge (ILSVRC) daquele ano. A característica definitoria da arquitetura é a conexão residual, um motivo que adiciona a entrada de uma subrede à sua saída, permitindo o treinamento de redes com centenas de camadas. Este design se tornou um bloco de construção fundamental em modelos modernos de aprendizagem profunda, incluindo arquiteturas transformer e sistemas como AlphaGo Zero e AlphaFold.
A conexão residual estabiliza o treinamento e a convergencia em redes neurais profundas, abordando o problema do gradiente desaparecido que anteriormente limitava a profundidade da rede. Sua influência se estende muito além do reconhecimento de imagens, aparecendo em redes neurais em todos os domínios, desde grandes modelos de linguagem até sistemas de aprendizagem por reforço.
Matemática
A ideia central do ResNet é reformular o objetivo de aprendizagem. Em uma rede multicamada, considere uma subrede com camadas empilhadas que calcula uma função \(H(x;\alpha)\), onde \(x\) é a entrada e \(\alpha\) são os parâmetros. Em vez de aprender \(H\) diretamente, a aprendizagem residual faz a subrede aprender \(F(x;\alpha) = H(x;\alpha) + x\). A saída óptima \(H^\) é então alcançada aprendendo o residual \(H^ - x\), que muitas vezes é mais fácil de otimizar.
A adição de \(x\) é implementada via uma conexión de salto que realiza um mapeamento de identidade, conectando a entrada da subrede diretamente à sua saída. Esta conexión de salto é a "conexión residual". Uma subrede com esta conexión é chamada de bloco residual, e uma rede residual profunda é construída empilhando tais blocos.
Conexión Residual
Em um bloco residual, a função \(F\) tipicamente consiste em multiplicações de matrizes intercaladas com funções de ativação e operações de normalização como normalização por lotes ou normalização de camadas. A conexión residual \(x + F(x)\) permite que os gradientes fluyan diretamente através da rede durante a retropropagación, mitigando o problema de degradación onde redes mais profundas se tornan mais difíceis de treinar.
O conceito de conexiones residuales tem precedentes. Redes de memória de longo prazo (LSTM), por exemplo, têm uma célula de memória que actúa como una conexión residual: \(c_{t+1} = c_t + F(x_t)\), onde \(c_t\) é o estado da célula e \(F\) processa a entrada \(x_t\). Uma LSTM com uma porta de esquecimento funciona essencialmente como uma rede de autopista, uma arquitectura relacionada que também usa conexiones de salto com portas.
Para estabilizar a varianza das entradas das capas em redes muito profundas, é recomendado escalar a conexión residual pelo número total de capas \(L\), substituindo \(x + f(x)\) por \(x/L + f(x)\). Esta normalización ajuda a manter magnitudes de señal consistentes em centenares de capas.
Conexión de Proyección
Quando a função \(F\) cambia a dimensionalidad da entrada, como \(F: \mathbb{R}^n \to \mathbb{R}^m\) com \(n \neq m\), a adición \(F(x) + x\) é indefinida. Neste caso, uma conexión de proyección é usada: \(y = F(x) + P(x)\), onde \(P\) é tipicamente una proyección lineal \(P(x) = Mx\) com una matriz \(m \times n\) \(M\). Esta matriz é treinada via retropropagación junto com os outros parámetros do modelo, permitindo que a rede adapte a conexión de salto à nova dimensionalidad.
Propagación de Señal
A introducción de mapeos de identidad facilita a propagación de señal tanto nos caminos hacia adiante como hacia atrás. No pase hacia adiante, se a saída do \(\ell\)-ésimo bloco residual é a entrada do bloque \((\ell+1)\)-ésimo (asumindo que não há activación entre blocos), então \(x_{\ell+1} = F(x_\ell) + x_\ell\). Esta recurrencia permite que a información flúa directamente através da rede, preservando a señal de entrada mesmo se \(F\) produz valores pequenos.
No pase hacia atrás, o gradiente da perda con respeito à entrada de um bloco incluye um termo que é o gradiente con respeito à saída, passado através do mapeo de identidade. Isto assegura que os gradientes não desaparecen enquanto se propagan através de muitas capas, um factor clave para habilitar o treinamento de redes com centenares de capas.
História e Impacto
O motivo da conexión residual tinha sido usado em trabalhos anteriores, mas a publicación do ResNet em 2015 o fez amplamente popular para redes feedforward. A arquitectura foi desenvolvida por pesquisadores de Microsoft, incluindo Kaiming He, Xiangyu Zhang, Shaoqing Ren e Jian Sun. O seu artigo, "Deep Residual Learning for Image Recognition", demonstrou que as redes residuais podían ser treinadas com profundidades de 152 capas ou mais, alcanzando resultados de última generación no benchmark ImageNet.
O éxito do ResNet no ILSVRC 2015 marcou um punto de inflexión en aprendizaje automático. Mostrou que redes muito profundas não só eram viables, senão também superiores en rendimiento, levando a um aumento na investigación sobre arquitecturas profundas. A conexión residual se tornou um componente estándar em modelos subsequentes, incluindo Transformers usados en procesamiento de lenguaje natural, como os modelos BERT e GPT, e en sistemas como AlphaGo Zero, AlphaStar e AlphaFold.
Variantes e Extensións
Diversas variantes do ResNet foram desenvolvidas para melhorar o rendimiento ou a eficiencia. O ResNet de pre-activación move as funções de activación antes das capas de peso, o que melhora a regularización e permite redes ainda mais profundas. O Wide ResNet aumenta o número de canales en cada bloque, trocando profundidade por largura para alcanzar maior precisión con menos capas. O ResNeXt introduce una dimensión de cardinalidade, usando ramas paralelas dentro de cada bloque para aumentar o poder representacional sem aumentar a profundidade.
Outras extensións inclúen DenseNet, que conecta cada capa a todas as outras de forma feedforward, e ResNet con profundidade estocástica, que elimina aleatoriamente capas durante o treinamento para regularizar a rede. Estas variantes empuxaron ainda máis os límites do que é posible con aprendizagem residual profunda.
Aplicacións
ResNet foi aplicado a uma amplia gama de tarefas além do reconhecimento de imaxes, incluindo detección de obxectos, segmentación semántica e análise de vídeo. Também é usado en imaxes médicas, conducción autónoma e sistemas de recoñecemento facial. A versatilidad e robustez da arquitectura fixérona unha elección por defecto para moitas aplicacións de visión por computador.
Ademais, o principio de conexión residual foi adoptado noutros dominios, como procesamiento de lenguaje natural e aprendizaje por reforzo. Por exemplo, os modelos Transformer dependen de conexións residuais para adestrar redes profundas para comprensión e xeración de linguaxe, como se ve na serie GPT de OpenAI e nos modelos de Anthropic. A influencia do ResNet é, polo tanto, omnipresente no campo da intelixencia artificial.