ConvNeXt é uma família de arquiteturas de redes neurais convolucionais puras introduzida em 2022 por pesquisadores da Facebook AI Research (agora Meta AI). Foi projetada para reduzir a lacuna de desempenho entre redes convolucionais tradicionais e Vision Transformers (ViTs), mantendo ao mesmo tempo a simplicidade e a eficiência das convoluções. O nome é um amálgama de "convolução" e "próximo", significando seu papel como sucessor moderno de designs clássicos de ConvNet, como o ResNet.
A arquitetura foi proposta no artigo "A ConvNet for the 2020s" por Zhuang Liu, Hanzi Mao, Chao-Yuan Wu, Christoph Feichtenhofer, Trevor Darrell e Saining Xie. O trabalho modernizou sistematicamente o ResNet padrão ao incorporar estratégias de design de Transformers, como stem com patchificação, convoluções em profundidade, blocos de gargalo invertido e tamanhos de kernel maiores. O resultado é uma família de modelos que iguala ou supera a precisão dos Vision Transformers em tarefas de classificação de imagens, detecção de objetos e segmentação semântica, usando menos parâmetros e FLOPs em muitas configurações.
Princípios de Design
O ConvNeXt parte de um ResNet-50 padrão e aplica uma série de modificações incrementais, cada uma validada por meio de experimentos controlados. As principais mudanças incluem:
- Stem com patchificação: A camada convolucional inicial de 7x7 com passo 2 é substituída por uma convolução não sobreposta de 4x4 com passo 4, semelhante à incorporação de patches em Vision Transformers.
- Convoluções em profundidade: As convoluções de 3x3 em cada bloco são substituídas por convoluções em profundidade, que aplicam um único filtro por canal de entrada, reduzindo computação e parâmetros.
- Gargalo invertido: A estrutura do bloco é alterada para um padrão largo-estreito-largo (taxa de expansão de 4), onde as convoluções de 1x1 expandem e comprimem canais, imitando os blocos MLP em Transformers.
- Tamanhos de kernel maiores: O tamanho do kernel é aumentado de 3x3 para 7x7, o que melhora o campo receptivo e o desempenho.
- Menos funções de ativação: GELU (Unidade Linear de Erro Gaussiano) substitui ReLU, e o número de camadas de ativação é reduzido para uma por bloco.
- Normalização de camada: LayerNorm substitui BatchNorm em toda a rede, uma mudança que se alinha com as práticas dos Transformers.
- Camadas de redução de amostragem separadas: A redução de amostragem é realizada usando camadas convolucionais de 2x2 com passo 2, colocadas entre os estágios, em vez de ser integrada ao primeiro bloco de cada estágio.
Essas mudanças são aplicadas gradualmente, com cada etapa melhorando a precisão no ImageNet, culminando em um modelo que supera o ResNet original por uma margem significativa.
Variantes do Modelo
O ConvNeXt está disponível em várias configurações, seguindo a convenção de nomenclatura do ResNet: ConvNeXt-T (tiny), ConvNeXt-S (small), ConvNeXt-B (base), ConvNeXt-L (large) e ConvNeXt-XL (extra large). O modelo base tem aproximadamente 89 milhões de parâmetros e alcança 82,8% de precisão top-1 no ImageNet-1K sem dados externos. Quando pré-treinado em conjuntos de dados maiores, como ImageNet-21K, ou usando dados com supervisão fraca, as variantes maiores atingem mais de 87% de precisão top-1.
A arquitetura também inclui uma variante chamada ConvNeXt V2, lançada em 2023, que introduz um autoencoder mascarado totalmente convolucional para pré-treinamento auto-supervisionado. Esta versão melhora a eficiência de amostragem e a robustez, alcançando resultados de última geração em vários benchmarks.
Desempenho e Comparações
No benchmark de classificação ImageNet-1K, o ConvNeXt-B alcança 83,8% de precisão top-1 com entrada de 224x224, ligeiramente superior ao DeiT-B Vision Transformer (81,8%) e comparável ao Swin Transformer (83,5%). Na detecção de objetos com Mask R-CNN, os backbones ConvNeXt superam tanto o ResNet quanto o Swin Transformer em termos de AP de caixa e AP de máscara. Para segmentação semântica com UperNet, o ConvNeXt-L alcança 53,1% de mIoU no ADE20K, superando o Swin-L por 0,6 pontos.
Uma vantagem notável é que os modelos ConvNeXt são mais eficientes em memória do que os Transformers durante a inferência, pois não exigem armazenamento de matrizes de atenção. Isso os torna atraentes para implantação em dispositivos de borda e em aplicações em tempo real, incluindo aquelas de empresas como Apple e Samsung que otimizam para aprendizado de máquina no dispositivo.
Impacto e Influência
A introdução do ConvNeXt demonstrou que as redes convolucionais não estavam obsoletas e poderiam ser modernizadas para competir com arquiteturas baseadas em atenção. Influenciou pesquisas subsequentes em modelos híbridos que combinam convoluções e atenção, como ConvNeXt V2 e vários backbones de visão eficientes. Os princípios de design também foram adotados em outros domínios, incluindo processamento de áudio e vídeo, onde os vieses indutivos da arquitetura são benéficos.
Pesquisadores em instituições como MIT CSAIL e Stanford AI Lab citaram o ConvNeXt como uma referência-chave para entender as compensações entre convolução e atenção. O código e os modelos pré-treinados são de código aberto sob uma licença permissiva, facilitando a adoção generalizada na academia e na indústria.
Limitações e Direções Futuras
Apesar de seus pontos fortes, o ConvNeXt ainda depende de arquiteturas projetadas manualmente, enquanto os Transformers se beneficiaram de leis de escala e arquiteturas unificadas entre modalidades. Alguns estudos sugerem que os ganhos de desempenho do ConvNeXt diminuem em conjuntos de dados muito grandes em comparação com os Transformers, que se destacam na captura de dependências de longo alcance. Trabalhos futuros exploraram a integração de convoluções dinâmicas ou mistura de especialistas para aumentar ainda mais a capacidade.
Em 2024, o ConvNeXt continua sendo um baseline forte em visão computacional, frequentemente usado como backbone padrão em muitas aplicações. Seus princípios foram incorporados em arquiteturas mais recentes, como FastViT e RepViT, que visam equilibrar eficiência e precisão para cenários móveis e em tempo real.