ConvNeXt는 2022년 Facebook AI Research(현재 Meta AI)의 연구자들이 도입한 순수 합성곱 신경망 아키텍처 계열이다. 이는 기존 합성곱 신경망과 비전 트랜스포머(ViT) 간의 성능 격차를 줄이면서도 합성곱의 단순성과 효율성을 유지하도록 설계되었다. 이름은 "convolution"과 "next"의 합성어로, ResNet과 같은 고전적인 ConvNet 설계의 현대적 후속작으로서의 역할을 나타낸다.
이 아키텍처는 Zhuang Liu, Hanzi Mao, Chao-Yuan Wu, Christoph Feichtenhofer, Trevor Darrell, Saining Xie가 작성한 논문 "A ConvNet for the 2020s"에서 제안되었다. 이 연구는 트랜스포머의 설계 전략(패치화된 줄기, 깊이별 합성곱, 역전된 병목 블록, 더 큰 커널 크기 등)을 통합하여 표준 ResNet을 체계적으로 현대화했다. 그 결과 이미지 분류, 객체 탐지, 의미론적 분할 작업에서 비전 트랜스포머와 동일하거나 더 높은 정확도를 달성하면서도 많은 구성에서 더 적은 매개변수와 FLOPs를 사용하는 모델 계열이 탄생했다.
설계 원칙
ConvNeXt는 표준 ResNet-50에서 시작하여 각각 통제된 실험을 통해 검증된 일련의 점진적 수정을 적용한다. 주요 변경 사항은 다음과 같다:
- 패치화된 줄기: 보폭 2의 초기 7x7 합성곱 레이어가 보폭 4의 비중첩 4x4 합성곱으로 대체되며, 이는 비전 트랜스포머의 패치 임베딩과 유사하다.
- 깊이별 합성곱: 각 블록의 3x3 합성곱이 입력 채널당 단일 필터를 적용하는 깊이별 합성곱으로 대체되어 계산량과 매개변수를 줄인다.
- 역전된 병목 구조: 블록 구조가 넓음-좁음-넓음 패턴(확장 비율 4)으로 변경되며, 1x1 합성곱이 채널을 확장하고 압축하여 트랜스포머의 MLP 블록을 모방한다.
- 더 큰 커널 크기: 커널 크기가 3x3에서 7x7로 증가하여 수용 영역과 성능이 개선된다.
- 더 적은 활성화 함수: GELU(가우시안 오차 선형 유닛)가 ReLU를 대체하며, 활성화 레이어 수는 블록당 하나로 줄어든다.
- 레이어 정규화: LayerNorm이 네트워크 전체에서 BatchNorm을 대체하며, 이는 트랜스포머 관행과 일치하는 변화이다.
- 별도의 다운샘플링 레이어: 다운샘플링은 각 단계의 첫 번째 블록에 통합되는 대신 단계 사이에 배치된 보폭 2의 2x2 합성곱 레이어를 사용하여 수행된다.
이러한 변경 사항은 점진적으로 적용되며 각 단계에서 ImageNet 정확도가 향상되어, 최종적으로 원래 ResNet을 상당한 차이로 능가하는 모델이 탄생한다.
모델 변형
ConvNeXt는 ResNet의 명명 규칙을 따라 ConvNeXt-T(티니), ConvNeXt-S(스몰), ConvNeXt-B(베이스), ConvNeXt-L(라지), ConvNeXt-XL(엑스트라 라지)의 여러 구성으로 제공된다. 베이스 모델은 약 8900만 개의 매개변수를 가지며 외부 데이터 없이 ImageNet-1K에서 82.8%의 top-1 정확도를 달성한다. ImageNet-21K와 같은 더 큰 데이터셋이나 약한 지도 데이터로 사전 학습할 경우 더 큰 변형은 87% 이상의 top-1 정확도에 도달한다.
이 아키텍처에는 2023년에 출시된 ConvNeXt V2라는 변형도 포함되며, 이는 자기 지도 사전 학습을 위한 완전 합성곱 마스크 오토인코더를 도입한다. 이 버전은 샘플 효율성과 견고성을 개선하여 여러 벤치마크에서 최첨단 결과를 달성한다.
성능 및 비교
ImageNet-1K 분류 벤치마크에서 ConvNeXt-B는 224x224 입력으로 83.8%의 top-1 정확도를 달성하며, DeiT-B 비전 트랜스포머(81.8%)보다 약간 높고 Swin 트랜스포머(83.5%)와 비슷하다. Mask R-CNN을 사용한 객체 탐지에서 ConvNeXt 백본은 박스 AP와 마스크 AP 모두에서 ResNet과 Swin 트랜스포머를 능가한다. UperNet을 사용한 의미론적 분할에서 ConvNeXt-L은 ADE20K에서 53.1%의 mIoU를 달성하여 Swin-L을 0.6포인트 초과한다.
주목할 만한 장점 중 하나는 ConvNeXt 모델이 추론 중 어텐션 행렬을 저장할 필요가 없어 트랜스포머보다 메모리 효율적이라는 점이다. 이는 엣지 장치 및 실시간 애플리케이션 배포에 매력적이며, 애플 및 삼성과 같이 온디바이스 머신 러닝을 최적화하는 기업에도 유용하다.
영향 및 파급 효과
ConvNeXt의 도입은 합성곱 신경망이 구식이 아니며 어텐션 기반 아키텍처와 경쟁하도록 현대화될 수 있음을 입증했다. 이는 합성곱과 어텐션을 결합한 하이브리드 모델(예: ConvNeXt V2 및 다양한 효율적 비전 백본)에 대한 후속 연구에 영향을 미쳤다. 설계 원칙은 오디오 및 비디오 처리와 같은 다른 영역에서도 채택되었으며, 이 아키텍처의 귀납적 편향이 유용하게 작용한다.
MIT CSAIL 및 스탠포드 AI 연구소와 같은 기관의 연구자들은 합성곱과 어텐션 간의 절충점을 이해하는 핵심 참고 자료로 ConvNeXt를 인용했다. 코드와 사전 학습 모델은 허용적 라이선스로 오픈소스화되어 학계와 산업계에서 널리 채택되고 있다.
한계 및 향후 방향
강점에도 불구하고 ConvNeXt는 여전히 수동으로 설계된 아키텍처에 의존하는 반면, 트랜스포머는 스케일링 법칙과 모달리티 전반의 통합 아키텍처의 이점을 누리고 있다. 일부 연구에 따르면 ConvNeXt의 성능 향상은 매우 큰 데이터셋에서 트랜스포머에 비해 감소하며, 트랜스포머는 장거리 의존성 포착에 뛰어나다. 향후 연구에서는 동적 합성곱이나 혼합 전문가를 통합하여 용량을 더욱 향상시키는 방안을 탐구했다.
2024년 현재 ConvNeXt는 컴퓨터 비전에서 강력한 기준 모델로 남아 있으며 많은 애플리케이션에서 기본 백본으로 자주 사용된다. 그 원칙은 모바일 및 실시간 시나리오를 위한 효율성과 정확성의 균형을 목표로 하는 FastViT 및 RepViT와 같은 최신 아키텍처에 통합되었다.