ConvNeXt es una familia de arquitecturas de redes neuronales puramente convolucionales introducida en 2022 por investigadores de Facebook AI Research (ahora Meta AI). Fue diseñada para cerrar la brecha de rendimiento entre las redes convolucionales tradicionales y los Vision Transformers (ViTs), manteniendo al mismo tiempo la simplicidad y eficiencia de las convoluciones. El nombre es un acrónimo de "convolución" y "next", lo que significa su papel como sucesor moderno de los diseños clásicos de ConvNet como el ResNet.
La arquitectura fue propuesta en el artículo "A ConvNet for the 2020s" de Zhuang Liu, Hanzi Mao, Chao-Yuan Wu, Christoph Feichtenhofer, Trevor Darrell y Saining Xie. El trabajo modernizó sistemáticamente el ResNet estándar incorporando estrategias de diseño de los Transformers, como el tallo con parcheado, convoluciones de profundidad, bloques de cuello de botella invertidos y tamaños de kernel más grandes. El resultado es una familia de modelos que igualan o superan la precisión de los Vision Transformers en tareas de clasificación de imágenes, detección de objetos y segmentación semántica, utilizando menos parámetros y FLOPs en muchas configuraciones.
Principios de diseño
ConvNeXt parte de un ResNet-50 estándar y aplica una serie de modificaciones incrementales, cada una validada mediante experimentos controlados. Los cambios clave incluyen:
- Tallo con parcheado: La capa convolucional inicial de 7x7 con paso 2 se reemplaza por una convolución no superpuesta de 4x4 con paso 4, similar al embedding de parches en los Vision Transformers.
- Convoluciones de profundidad: Las convoluciones de 3x3 en cada bloque se reemplazan por convoluciones de profundidad, que aplican un solo filtro por canal de entrada, reduciendo el cómputo y los parámetros.
- Cuello de botella invertido: La estructura del bloque se cambia a un patrón ancho-estrecho-ancho (relación de expansión de 4), donde las convoluciones de 1x1 expanden y comprimen los canales, imitando los bloques MLP en los Transformers.
- Tamaños de kernel más grandes: El tamaño del kernel se aumenta de 3x3 a 7x7, lo que mejora el campo receptivo y el rendimiento.
- Menos funciones de activación: GELU (Unidad Lineal de Error Gaussiano) reemplaza a ReLU, y el número de capas de activación se reduce a una por bloque.
- Normalización de capas: LayerNorm reemplaza a BatchNorm en toda la red, un cambio que se alinea con las prácticas de los Transformers.
- Capas de submuestreo separadas: El submuestreo se realiza mediante capas convolucionales de 2x2 con paso 2, colocadas entre etapas, en lugar de integrarse en el primer bloque de cada etapa.
Estos cambios se aplican gradualmente, con cada paso mejorando la precisión en ImageNet, culminando en un modelo que supera al ResNet original por un margen significativo.
Variantes del modelo
ConvNeXt está disponible en varias configuraciones, siguiendo la convención de nombres de ResNet: ConvNeXt-T (tiny), ConvNeXt-S (small), ConvNeXt-B (base), ConvNeXt-L (large) y ConvNeXt-XL (extra large). El modelo base tiene aproximadamente 89 millones de parámetros y alcanza una precisión top-1 del 82.8% en ImageNet-1K sin datos externos. Cuando se preentrena con conjuntos de datos más grandes como ImageNet-21K o se utilizan datos débilmente supervisados, las variantes más grandes superan el 87% de precisión top-1.
La arquitectura también incluye una variante llamada ConvNeXt V2, publicada en 2023, que introduce un autoencoder enmascarado totalmente convolucional para el preentrenamiento autosupervisado. Esta versión mejora la eficiencia de muestra y la robustez, logrando resultados de última generación en varios puntos de referencia.
Rendimiento y comparaciones
En el punto de referencia de clasificación ImageNet-1K, ConvNeXt-B alcanza una precisión top-1 del 83.8% con una entrada de 224x224, ligeramente superior al DeiT-B Vision Transformer (81.8%) y comparable al Swin Transformer (83.5%). En la detección de objetos con Mask R-CNN, los backbones de ConvNeXt superan tanto a ResNet como a Swin Transformer en términos de AP de caja y AP de máscara. Para la segmentación semántica con UperNet, ConvNeXt-L logra un mIoU del 53.1% en ADE20K, superando a Swin-L por 0.6 puntos.
Una ventaja notable es que los modelos ConvNeXt son más eficientes en memoria que los Transformers durante la inferencia, ya que no requieren almacenar matrices de atención. Esto los hace atractivos para su implementación en dispositivos de borde y en aplicaciones en tiempo real, incluidas las de empresas como Apple y Samsung que optimizan para el aprendizaje automático en el dispositivo.
Impacto e influencia
La introducción de ConvNeXt demostró que las redes convolucionales no estaban obsoletas y podían modernizarse para competir con las arquitecturas basadas en atención. Influyó en investigaciones posteriores sobre modelos híbridos que combinan convoluciones y atención, como ConvNeXt V2 y varios backbones de visión eficientes. Los principios de diseño también se han adoptado en otros dominios, incluidos el procesamiento de audio y video, donde los sesgos inductivos de la arquitectura son beneficiosos.
Investigadores de instituciones como MIT CSAIL y Stanford AI Lab han citado a ConvNeXt como una referencia clave para comprender las compensaciones entre convolución y atención. El código y los modelos preentrenados se publican bajo una licencia permisiva, lo que facilita su adopción generalizada en el ámbito académico e industrial.
Limitaciones y direcciones futuras
A pesar de sus fortalezas, ConvNeXt todavía depende de arquitecturas diseñadas manualmente, mientras que los Transformers se han beneficiado de leyes de escalado y arquitecturas unificadas entre modalidades. Algunos estudios sugieren que las ganancias de rendimiento de ConvNeXt disminuyen en conjuntos de datos muy grandes en comparación con los Transformers, que destacan en capturar dependencias de largo alcance. Trabajos futuros han explorado la integración de convoluciones dinámicas o mezclas de expertos para mejorar aún más la capacidad.
A partir de 2024, ConvNeXt sigue siendo un punto de referencia sólido en visión por computadora, utilizado a menudo como backbone predeterminado en muchas aplicaciones. Sus principios se han incorporado en arquitecturas más nuevas como FastViT y RepViT, que buscan equilibrar eficiencia y precisión para escenarios móviles y en tiempo real.