O artigo do ResNet, formalmente intitulado "Deep Residual Learning for Image Recognition", foi publicado em 2015 por pesquisadores da Microsoft Research. Ele introduziu a rede neural residual (ResNet), uma arquitetura de Deep learning em que camadas aprendem funções residuais com referência às entradas das camadas. O artigo venceu o ImageNet Large Scale Visual Recognition Challenge(ILSVRC) de 2015, alcançando uma taxa de erro top-5 de 3,57%, superando o desempenho humano nesse benchmark. Sua inovação central, a conexão residual, tornou-se um motivo fundamental em projetos subsequentes de Neural network
Uma conexão residual é a operação arquitetural \(x \mapsto f(x) + x\), onde \(f\) é um módulo arbitrário de rede neural. Em vez de aprender um mapeamento não referenciado \(H(x)\), a rede aprende um residual \(F(x) = H(x) - x\), com a entrada \(x\) adicionada via uma conexão de salto de identidade.. Isso estabiliza o treinamento e a convergência para redes com centenas de camadas, um problema que anteriormente limitava a profundidade devido a gradientes desaparecendo e degradação.. A ideia teve precedentes em trabalhos anteriores, como células de memória de longo prazo(LSTM), que usam atualizações aditivas de memória semelhantes a caminhos residuais, mas o ResNet popularizou o motivo para redes feedforward
Arquitetura e Blocos Residuais
Um bloco residual consiste em uma sub-rede \(H(x; \alpha)\) com parâmetros \(\alpha\), tipicamente duas ou três camadas convolucionais ou totalmente conectadas empilhadas, intercaladas com funções de ativação e normalização (.e.g., normalização em lote.. A saída do bloco é \(F(x) = H(x; \alpha) + x\). Redes residuais profundas empilham muitos desses blocos, com variantes como ResNet-34, ResNet-50, ResNet-101, e ResNet-152 denotando contagens de camadas.. A versão de 152 camadas venceu o ILSVRC 2015, e o artigo demonstrou que redes residuais mais profundas superavam contrapartes não residuais mais rasas, contrariamente a observações anteriores de saturação de desempenho
Quando as dimensões de entrada e saída diferem (\(F: \mathbb{R}^n \to \mathbb{R}^m\), \(n \neq m\)), uma conexão de projeção é usada: \(y = F(x) + P(x)\), onde \(P(x) = Mx\) é uma matriz de projeção linear aprendida \(M\) de forma \(m \times n\), treinada via retropropagação.. Isso permite aprendizado residual através de mudanças de tamanho de mapa de características, comum em redes convolucionais quando há redução de amostragem
Propagação de Sinal e Estabilidade de Treinamento
O mapeamento de identidade nas conexões residuais facilita a propagação de sinal tanto nas direções direta quanto reversa.. Na propagação direta, se a saída do bloco \(\ell\) é a entrada do bloco \(\ell+1\) (sem ativações intervenientes), então \(x_{\ell+1} = F(x_\ell) + x_\ell\). Essa estrutura aditiva garante que gradientes podem fluir diretamente para camadas anteriores durante a retropropagação, mitigando o problema do gradiente desaparecendo.. O artigo mostrou que redes residuais com centenas de camadas podiam ser treinadas efetivamente, enquanto redes profundas simples sofriam de erro de treinamento aumentado à medida que a profundidade crescia
Para estabilizar ainda mais a variância, trabalhos posteriores recomendaram escalar conexões residuais como \(x/L + f(x)\), onde \(L\) é o número total de camadas residuais, embora o artigo original do ResNet usasse adições não escaladas.. Esse escalonamento tornou-se relevante em transformadores muito profundos e outras arquiteturas
Impacto no Aprendizado Profundo
A publicação do ResNet marcou um ponto de virada na pesquisa de Artificial intelligence, permitindo a construção de modelos muito mais profundos.. A conexão residual tornou-se um componente padrão em numerosas arquiteturas, incluindo modelos Transformer (architecture) como BERT e GPT (e.g., sistemas de Large language model como ChatGPT), bem como AlphaGo Zero, AlphaStar, e AlphaFold da Google DeepMind. O motivo aparece em redes aparentemente não relacionadas, de Computer vision a processamento de linguagem natural, porque simplifica a otimização e permite treinamento efetivo de pilhas muito profundas
O artigo também influenciou o desenvolvimento de hardware e software, pois treinar modelos mais profundos exigia mais computação, contribuindo para o surgimento de aceleradores especializados como AWS Trainium e serviços de nuvem como Microsoft Azure e Google Cloud. Grupos de pesquisa na University of Toronto, Stanford AI Lab, e MIT CSAIL adotaram redes residuais em estudos subsequentes, consolidando seu papel na prática moderna de Machine learning
Legado e Reconhecimento
Até 2025, o artigo do ResNet tornou-se um dos mais citados em ciência da computação, com dezenas de milhares de citações.. Seus autores, incluindo Kaiming He, Xiangyu Zhang, Shaoqing Ren, e Jian Sun, receberam numerosos prêmios, incluindo o Prêmio IEEE Frank Rosenblatt de 2023.. A arquitetura permanece uma linha de base para tarefas de classificação de imagens, e seus princípios sustentam muitos sistemas de última geração.. O termo"conexão residual" é agora terminologia padrão em livros didáticos e cursos de aprendizado profundo, e as percepções do artigo sobre mapeamentos de identidade continuam a informar pesquisa sobre profundidade de rede e treinabilidade
O sucesso do artigo também estimulou interesse em arquiteturas ainda mais profundas, levando a inovações como DenseNet e ResNeXt, embora nenhuma tenha deslocado a ideia residual fundamental.. Em 2025, conexões residuais são onipresentes em sistemas de IA de produção, dos modelos da OpenAI ao Claude da Anthropic, demonstrando o impacto duradouro do trabalho de 2015.