L'article ResNet, intitulé officiellement « Deep Residual Learning for Image Recognition », a été publié en 2015 par des chercheurs de Microsoft Research. Il a introduit le réseau neuronal résiduel (ResNet), une architecture de Deep learning dans laquelle les couches apprennent des fonctions résiduelles en référence aux entrées des couches. L'article a remporté le défi de reconnaissance visuelle à grande échelle ImageNet (ILSVRC) de 2015, atteignant un taux d'erreur top-5 de 3,57 %, surpassant les performances humaines sur ce benchmark. Son innovation centrale, la connexion résiduelle, est devenue un motif fondateur dans les conceptions ultérieures de Neural network.
Une connexion résiduelle est l'opération architecturale \(x \mapsto f(x) + x\), où \(f\) est un module de réseau neuronal arbitraire. Au lieu d'apprendre une fonction non référencée \(H(x)\), le réseau apprend un résidu \(F(x) = H(x) - x\), avec l'entrée \(x\) ajoutée via une connexion de saut identitaire. Cela stabilise l'entraînement et la convergence pour les réseaux comportant des centaines de couches, un problème qui limitait auparavant la profondeur en raison des gradients évanescents et de la dégradation. L'idée avait des précédents dans des travaux antérieurs, comme les cellules de mémoire à long terme (LSTM), qui utilisent des mises à jour de mémoire additives similaires aux chemins résiduels, mais ResNet a popularisé ce motif pour les réseaux feedforward.
Architecture et blocs résiduels
Un bloc résiduel se compose d'un sous-réseau \(H(x; \alpha)\) avec des paramètres \(\alpha\), généralement deux ou trois couches convolutionnelles ou entièrement connectées empilées, entrelacées avec des fonctions d'activation et une normalisation (par exemple, la normalisation par lots). La sortie du bloc est \(F(x) = H(x; \alpha) + x\). Les réseaux résiduels profonds empilent de nombreux blocs de ce type, avec des variantes comme ResNet-34, ResNet-50, ResNet-101 et ResNet-152 indiquant le nombre de couches. La version à 152 couches a remporté l'ILSVRC 2015, et l'article a démontré que les réseaux résiduels plus profonds surpassaient les homologues non résiduels plus superficiels, contrairement aux observations précédentes de saturation des performances.
Lorsque les dimensions d'entrée et de sortie diffèrent (\(F: \mathbb{R}^n \to \mathbb{R}^m\), \(n \neq m\)), une connexion de projection est utilisée : \(y = F(x) + P(x)\), où \(P(x) = Mx\) est une matrice de projection linéaire apprise \(M\) de forme \(m \times n\), entraînée par rétropropagation. Cela permet l'apprentissage résiduel à travers les changements de taille des cartes de caractéristiques, courants dans les réseaux convolutionnels lors du sous-échantillonnage.
Propagation du signal et stabilité de l'entraînement
La fonction identitaire dans les connexions résiduelles facilite la propagation du signal dans les directions avant et arrière. En propagation avant, si la sortie du bloc \(\ell\) est l'entrée du bloc \(\ell+1\) (sans activations intermédiaires), alors \(x_{\ell+1} = F(x_\ell) + x_\ell\). Cette structure additive garantit que les gradients peuvent circuler directement vers les couches antérieures pendant la rétropropagation, atténuant le problème des gradients évanescents. L'article a montré que les réseaux résiduels avec des centaines de couches pouvaient être entraînés efficacement, tandis que les réseaux profonds simples souffraient d'une erreur d'entraînement accrue à mesure que la profondeur augmentait.
Pour stabiliser davantage la variance, des travaux ultérieurs ont recommandé de mettre à l'échelle les connexions résiduelles comme \(x/L + f(x)\), où \(L\) est le nombre total de couches résiduelles, bien que l'article original de ResNet ait utilisé des additions non mises à l'échelle. Cette mise à l'échelle est devenue pertinente dans les transformateurs très profonds et d'autres architectures.
Impact sur l'apprentissage profond
La publication de ResNet a marqué un tournant dans la recherche en Artificial intelligence, permettant la construction de modèles beaucoup plus profonds. La connexion résiduelle est devenue un composant standard dans de nombreuses architectures, y compris les modèles Transformer (architecture) comme BERT et GPT (par exemple, les systèmes Large language model comme ChatGPT), ainsi que AlphaGo Zero, AlphaStar et AlphaFold de Google DeepMind. Ce motif apparaît dans des réseaux apparemment sans rapport, de la Computer vision au traitement du langage naturel, car il simplifie l'optimisation et permet un entraînement efficace de piles très profondes.
L'article a également influencé le développement matériel et logiciel, car l'entraînement de modèles plus profonds nécessitait plus de calcul, contribuant à l'essor d'accélérateurs spécialisés comme AWS Trainium et de services cloud tels que Microsoft Azure et Google Cloud. Des groupes de recherche à University of Toronto, Stanford AI Lab et MIT CSAIL ont adopté les réseaux résiduels dans des études ultérieures, consolidant leur rôle dans la pratique moderne du Machine learning.
Héritage et reconnaissance
D'ici 2025, l'article ResNet était devenu l'un des plus cités en informatique, avec des dizaines de milliers de citations. Ses auteurs, dont Kaiming He, Xiangyu Zhang, Shaoqing Ren et Jian Sun, ont reçu de nombreux prix, notamment le prix IEEE Frank Rosenblatt 2023. L'architecture reste une référence pour les tâches de classification d'images, et ses principes sous-tendent de nombreux systèmes de pointe. Le terme « connexion résiduelle » est désormais une terminologie standard dans les manuels et cours d'apprentissage profond, et les idées de l'article sur les fonctions identitaires continuent d'informer la recherche sur la profondeur et l'entraînabilité des réseaux.
Le succès de l'article a également suscité un intérêt pour des architectures encore plus profondes, menant à des innovations comme DenseNet et ResNeXt, bien qu'aucune n'ait déplacé l'idée résiduelle fondamentale. En 2025, les connexions résiduelles sont omniprésentes dans les systèmes d'IA de production, des modèles d'OpenAI à Claude d'Anthropic, démontrant l'impact durable du travail de 2015.