El artículo de ResNet, titulado formalmente "Deep Residual Learning for Image Recognition", fue publicado en 2015 por investigadores de Microsoft Research. Introdujo la red neuronal residual (ResNet), una arquitectura de Deep learning en la que las capas aprenden funciones residuales con referencia a las entradas de las capas. El artículo ganó el ImageNet Large Scale Visual Recognition Challenge (ILSVRC) de 2015, logrando una tasa de error top-5 del 3,57%, superando el rendimiento a nivel humano en ese punto de referencia. Su innovación central, la conexión residual, se convirtió en un motivo fundacional en los diseños posteriores de Neural network.
Una conexión residual es la operación arquitectónica \(x \mapsto f(x) + x\), donde \(f\) es un módulo de red neuronal arbitrario. En lugar de aprender un mapeo sin referencia \(H(x)\), la red aprende un residual \(F(x) = H(x) - x\), con la entrada \(x\) añadida mediante una conexión de salto de identidad. Esto estabiliza el entrenamiento y la convergencia para redes con cientos de capas, un problema que previamente limitaba la profundidad debido a los gradientes desvanecientes y la degradación. La idea tenía precedentes en trabajos anteriores, como las celdas de memoria a largo plazo (LSTM), que utilizan actualizaciones de memoria aditivas similares a las rutas residuales, pero ResNet popularizó el motivo para redes de avance.
Arquitectura y Bloques Residuales
Un bloque residual consiste en una subred \(H(x; \alpha)\) con parámetros \(\alpha\), típicamente dos o tres capas convolucionales o totalmente conectadas apiladas, intercaladas con funciones de activación y normalización (por ejemplo, normalización por lotes). La salida del bloque es \(F(x) = H(x; \alpha) + x\). Las redes residuales profundas apilan muchos de estos bloques, con variantes como ResNet-34, ResNet-50, ResNet-101 y ResNet-152 que denotan el número de capas. La versión de 152 capas ganó ILSVRC 2015, y el artículo demostró que las redes residuales más profundas superaban a las contrapartes no residuales más superficiales, contrariamente a observaciones previas de saturación del rendimiento.
Cuando las dimensiones de entrada y salida difieren (\(F: \mathbb{R}^n \to \mathbb{R}^m\), \(n \neq m\)), se utiliza una conexión de proyección: \(y = F(x) + P(x)\), donde \(P(x) = Mx\) es una matriz de proyección lineal aprendida \(M\) de forma \(m \times n\), entrenada mediante retropropagación. Esto permite el aprendizaje residual a través de cambios en el tamaño de los mapas de características, común en redes convolucionales al reducir la resolución.
Propagación de Señal y Estabilidad del Entrenamiento
El mapeo de identidad en las conexiones residuales facilita la propagación de señales tanto en dirección hacia adelante como hacia atrás. En la propagación hacia adelante, si la salida del bloque \(\ell\) es la entrada al bloque \(\ell+1\) (sin activaciones intermedias), entonces \(x_{\ell+1} = F(x_\ell) + x_\ell\). Esta estructura aditiva asegura que los gradientes puedan fluir directamente a capas anteriores durante la retropropagación, mitigando el problema del gradiente desvaneciente. El artículo mostró que las redes residuales con cientos de capas podían entrenarse eficazmente, mientras que las redes profundas simples sufrían un mayor error de entrenamiento a medida que aumentaba la profundidad.
Para estabilizar aún más la varianza, trabajos posteriores recomendaron escalar las conexiones residuales como \(x/L + f(x)\), donde \(L\) es el número total de capas residuales, aunque el artículo original de ResNet usaba adiciones sin escalar. Este escalado se volvió relevante en transformadores muy profundos y otras arquitecturas.
Impacto en el Aprendizaje Profundo
La publicación de ResNet marcó un punto de inflexión en la investigación de Artificial intelligence, permitiendo la construcción de modelos mucho más profundos. La conexión residual se convirtió en un componente estándar en numerosas arquitecturas, incluidos los modelos Transformer (architecture) como BERT y GPT (por ejemplo, sistemas de Large language model como ChatGPT), así como AlphaGo Zero, AlphaStar y AlphaFold de Google DeepMind. El motivo aparece en redes aparentemente no relacionadas, desde Computer vision hasta el procesamiento del lenguaje natural, porque simplifica la optimización y permite el entrenamiento efectivo de pilas muy profundas.
El artículo también influyó en el desarrollo de hardware y software, ya que entrenar modelos más profundos requería más cómputo, contribuyendo al auge de aceleradores especializados como AWS Trainium y servicios en la nube como Microsoft Azure y Google Cloud. Grupos de investigación en University of Toronto, Stanford AI Lab y MIT CSAIL adoptaron redes residuales en estudios posteriores, consolidando su papel en la práctica moderna de Machine learning.
Legado y Reconocimiento
Para 2025, el artículo de ResNet se había convertido en uno de los más citados en ciencias de la computación, con decenas de miles de citas. Sus autores, incluidos Kaiming He, Xiangyu Zhang, Shaoqing Ren y Jian Sun, recibieron numerosos premios, incluido el Premio IEEE Frank Rosenblatt de 2023. La arquitectura sigue siendo un punto de referencia para tareas de clasificación de imágenes, y sus principios sustentan muchos sistemas de última generación. El término "conexión residual" es ahora terminología estándar en libros de texto y cursos de aprendizaje profundo, y las ideas del artículo sobre mapeos de identidad continúan informando la investigación sobre profundidad de red y entrenabilidad.
El éxito del artículo también impulsó el interés en arquitecturas aún más profundas, llevando a innovaciones como DenseNet y ResNeXt, aunque ninguna desplazó la idea residual fundamental. A partir de 2025, las conexiones residuales son ubicuas en los sistemas de IA de producción, desde los modelos de OpenAI hasta Claude de Anthropic, demostrando el impacto perdurable del trabajo de 2015.