Deep Residual Learning, comumente conhecido como ResNet, é uma arquitetura de aprendizado profundo introduzida em 2015 para reconhecimento de imagens. Ela venceu o ImageNet Large Scale Visual Recognition Challenge (ILSVRC) daquele ano, demonstrando que redes com centenas de camadas podiam ser treinadas de forma eficaz. A principal inovação é a conexão residual, que permite que camadas aprendam funções residuais com referência às suas entradas, estabilizando o treinamento e a convergência em redes neurais muito profundas.
O motivo da conexão residual, definido como \(x \mapsto f(x) + x\) onde \(f\) é um módulo arbitrário de rede neural, já havia sido usado em trabalhos anteriores, mas a publicação do ResNet o tornou amplamente popular para redes feedforward. Esse motivo agora aparece em muitas arquiteturas aparentemente não relacionadas ao ResNet, incluindo modelos transformadores como BERT e GPT, bem como sistemas como AlphaGo Zero, AlphaStar e AlphaFold.
Matemática das Conexões Residuais
Em uma rede neural multicamadas, considere uma sub-rede com camadas empilhadas (por exemplo, 2 ou 3). Seja \(H(x; \alpha)\) a sub-rede, onde \(x\) é a entrada e \(\alpha\) é o conjunto de parâmetros. Se \(H^\) é a saída ótima desejada, o aprendizado residual adiciona \(x\) diretamente à saída, de modo que a saída ótima aprendida se torna \(H^ - x\), interpretada como um "resíduo" em relação a \(x\). Isso é implementado por meio de uma conexão de salto que realiza um mapeamento de identidade da entrada da sub-rede para sua saída.
A função \(F(x; \alpha) = H(x; \alpha) + x\) é frequentemente representada por multiplicação de matrizes intercalada com funções de ativação e operações de normalização, como normalização em lote ou normalização de camada. Um bloco residual é uma dessas sub-redes, e uma rede residual profunda é construída empilhando esses blocos.
Redes de memória de longo prazo (LSTM) têm um mecanismo de memória que serve como uma conexão residual. Em uma LSTM sem porta de esquecimento, uma entrada \(x_t\) é processada por uma função \(F\) e adicionada a uma célula de memória \(c_t\), resultando em \(c_{t+1} = c_t + F(x_t)\). Uma LSTM com porta de esquecimento funciona essencialmente como uma rede de rodovias.
Para estabilizar a variância das entradas das camadas, recomenda-se substituir as conexões residuais \(x + f(x)\) por \(x/L + f(x)\), onde \(L\) é o número total de camadas residuais.
Conexões de Projeção
Quando a função \(F\) mapeia de \(\mathbb{R}^n\) para \(\mathbb{R}^m\) com \(n \neq m\), a expressão \(F(x) + x\) é indefinida. Nesse caso, uma conexão de projeção é usada: \(y = F(x) + P(x)\), onde \(P\) é tipicamente uma projeção linear definida por \(P(x) = Mx\), com \(M\) uma matriz \(m \times n\). A matriz \(M\) é treinada via retropropagação, como qualquer outro parâmetro do modelo.
Propagação de Sinais
A introdução de mapeamentos de identidade facilita a propagação de sinais nos caminhos direto e reverso. Na direção direta, se a saída do \(\ell\)-ésimo bloco residual é a entrada do bloco \((\ell+1)\)-ésimo (assumindo nenhuma ativação entre blocos), então a entrada do próximo bloco é \(x_{\ell+1} = F(x_\ell) + x_\ell\). Essa estrutura aditiva permite que os gradientes fluam diretamente pela rede durante a retropropagação, mitigando o problema do gradiente desaparecendo que afligia arquiteturas profundas anteriores.
Impacto e Legado
O sucesso do ResNet no ILSVRC 2015 marcou um ponto de virada na visão computacional e na inteligência artificial. Ele permitiu o treinamento de redes com centenas de camadas, o que antes era inviável devido à degradação na precisão do treinamento. A conexão residual desde então se tornou um componente padrão em muitos modelos de aprendizado profundo, incluindo aqueles usados em processamento de linguagem natural e IA generativa.
A influência da arquitetura se estende além do reconhecimento de imagens. Conexões residuais são integrais aos grandes modelos de linguagem modernos e outros modelos baseados em sequência, onde ajudam a manter um treinamento estável ao longo de muitas camadas. O princípio de aprender resíduos em vez de transformações completas também inspirou variações como U-Net e outros designs de codificador-decodificador.
O ResNet permanece como uma referência fundamental no aprendizado profundo, e seus princípios de design são ensinados em cursos e aplicados em pesquisas em todos os domínios de aprendizado de máquina. A simplicidade e eficácia da conexão residual fizeram dela uma das contribuições mais duradouras ao campo.