ConvNeXtは、2022年にFacebook AI Research（現Meta AI）の研究者らによって導入された、純粋な畳み込みニューラルネットワークアーキテクチャのファミリーである。これは、従来の畳み込みネットワークとVision Transformer（ViT）の間の性能ギャップを埋めつつ、畳み込みの単純さと効率性を維持するように設計された。その名称は「convolution」と「next」の合成語であり、ResNetのような古典的なConvNet設計の現代的な後継者としての役割を示している。
このアーキテクチャは、Zhuang Liu、Hanzi Mao、Chao-Yuan Wu、Christoph Feichtenhofer、Trevor Darrell、Saining Xieによる論文「A ConvNet for the 2020s」で提案された。この研究は、パッチ化されたステム、深さ方向の畳み込み、逆ボトルネックブロック、より大きなカーネルサイズなど、Transformerからの設計戦略を取り入れることで、標準的なResNetを体系的に近代化した。その結果、画像分類、物体検出、セマンティックセグメンテーションのタスクにおいて、多くの構成でより少ないパラメータとFLOPsを使用しながら、Vision Transformerの精度に匹敵するかそれを上回るモデルのファミリーが生まれた。
設計原則
ConvNeXtは標準的なResNet-50から始まり、それぞれが制御された実験を通じて検証された一連の段階的な修正を適用する。主な変更点は以下の通りである：
- パッチ化ステム：ストライド2の初期の7x7畳み込み層は、Vision Transformerのパッチ埋め込みと同様に、ストライド4の非重複4x4畳み込みに置き換えられる。
- 深さ方向の畳み込み：各ブロックの3x3畳み込みは、入力チャネルごとに単一のフィルタを適用する深さ方向の畳み込みに置き換えられ、計算量とパラメータが削減される。
- 逆ボトルネック：ブロック構造は、広-狭-広のパターン（拡張比4）に変更され、1x1畳み込みがチャネルを拡張および圧縮し、TransformerのMLPブロックを模倣する。
- より大きなカーネルサイズ：カーネルサイズは3x3から7x7に増加され、受容野と性能が向上する。
- 活性化関数の削減：GELU（Gaussian Error Linear Unit）がReLUを置き換え、活性化層の数はブロックごとに1つに削減される。
- 層正規化：LayerNormがネットワーク全体でBatchNormを置き換え、これはTransformerの慣行に沿った変更である。
- 独立したダウンサンプリング層：ダウンサンプリングは、各ステージの最初のブロックに統合されるのではなく、ステージ間に配置されたストライド2の2x2畳み込み層を使用して実行される。
これらの変更は段階的に適用され、各ステップでImageNetの精度が向上し、最終的には元のResNetを大幅に上回るモデルが生まれる。
モデルバリアント
ConvNeXtは、ResNetの命名規則に従って、ConvNeXt-T（tiny）、ConvNeXt-S（small）、ConvNeXt-B（base）、ConvNeXt-L（large）、ConvNeXt-XL（extra large）のいくつかの構成で利用可能である。ベースモデルは約8900万パラメータを持ち、外部データなしでImageNet-1Kで82.8%のトップ1精度を達成する。ImageNet-21Kのようなより大きなデータセットで事前学習された場合や、弱教師ありデータを使用した場合、より大きなバリアントは87%以上のトップ1精度に達する。
このアーキテクチャには、2023年にリリースされたConvNeXt V2と呼ばれるバリアントも含まれており、自己教師あり事前学習のための完全畳み込みマスクオートエンコーダを導入している。このバージョンはサンプル効率と堅牢性を向上させ、いくつかのベンチマークで最先端の結果を達成している。
性能と比較
ImageNet-1K分類ベンチマークでは、ConvNeXt-Bは224x224入力で83.8%のトップ1精度を達成し、DeiT-B Vision Transformer（81.8%）よりわずかに高く、Swin Transformer（83.5%）に匹敵する。Mask R-CNNを用いた物体検出では、ConvNeXtバックボーンはボックスAPとマスクAPの両方でResNetとSwin Transformerの両方を上回る。UperNetを用いたセマンティックセグメンテーションでは、ConvNeXt-LはADE20Kで53.1%のmIoUを達成し、Swin-Lを0.6ポイント上回る。
注目すべき利点の1つは、ConvNeXtモデルが推論中にTransformerよりもメモリ効率が高いことである。これは、アテンションマトリックスを保存する必要がないためである。これにより、AppleやSamsungなどの企業がオンデバイス機械学習向けに最適化しているエッジデバイスやリアルタイムアプリケーションへの展開に魅力的である。
影響と波及効果
ConvNeXtの導入は、畳み込みネットワークが時代遅れではなく、アテンションベースのアーキテクチャと競合するように近代化できることを実証した。これは、畳み込みとアテンションを組み合わせたハイブリッドモデル（ConvNeXt V2やさまざまな効率的なビジョンバックボーンなど）に関するその後の研究に影響を与えた。設計原則は、アーキテクチャの帰納的バイアスが有益であるオーディオやビデオ処理など、他の領域でも採用されている。
MIT CSAILやスタンフォードAIラボなどの機関の研究者は、畳み込みとアテンションのトレードオフを理解するための重要な参照としてConvNeXtを引用している。コードと事前学習済みモデルは寛容なライセンスの下でオープンソース化されており、学界と産業界での広範な採用を促進している。
制限と将来の方向性
その強みにもかかわらず、ConvNeXtは依然として手動で設計されたアーキテクチャに依存しているのに対し、Transformerはスケーリング則とモダリティを超えた統一アーキテクチャの恩恵を受けている。いくつかの研究は、ConvNeXtの性能向上は、長距離依存関係の捕捉に優れたTransformerと比較して、非常に大規模なデータセットでは減少することを示唆している。将来の研究では、動的畳み込みや混合専門家を統合して容量をさらに強化することが探求されている。
2024年現在、ConvNeXtはコンピュータビジョンにおける強力なベースラインであり、多くのアプリケーションでデフォルトのバックボーンとしてよく使用されている。その原則は、モバイルおよびリアルタイムシナリオの効率と精度のバランスを目指すFastViTやRepViTなどの新しいアーキテクチャに組み込まれている。