ConvNeXt

ConvNeXt ist eine Familie reiner convolutional neuronaler Netzwerkarchitekturen, die 2022 von Forschern bei Facebook AI Research (heute Meta AI) eingeführt wurde. Sie wurde entwickelt, um die Leistungslücke zwischen traditionellen convolutional Netzwerken und Vision Transformers (ViTs) zu schließen, während die Einfachheit und Effizienz von Faltungen beibehalten wird. Der Name ist ein Kofferwort aus „Faltung“ und „next“ und kennzeichnet ihre Rolle als moderner Nachfolger klassischer ConvNet-Designs wie dem ResNet.

Die Architektur wurde in dem Papier „A ConvNet for the 2020s“ von Zhuang Liu, Hanzi Mao, Chao-Yuan Wu, Christoph Feichtenhofer, Trevor Darrell und Saining Xie vorgeschlagen. Die Arbeit modernisierte systematisch das Standard-ResNet, indem sie Designstrategien von Transformatoren übernahm, wie etwa patchifizierte Stämme, Tiefenfaltungen, invertierte Engpassblöcke und größere Kernelgrößen. Das Ergebnis ist eine Familie von Modellen, die die Genauigkeit von Vision Transformers bei Bildklassifikation, Objekterkennung und semantischer Segmentierung erreichen oder übertreffen, während sie in vielen Konfigurationen weniger Parameter und FLOPs verwenden.

Designprinzipien

ConvNeXt geht von einem Standard-ResNet-50 aus und wendet eine Reihe inkrementeller Modifikationen an, die jeweils durch kontrollierte Experimente validiert werden. Zu den wichtigsten Änderungen gehören:

• Patchify-Stamm: Die anfängliche 7x7-Faltungsschicht mit Schritt 2 wird durch eine nicht überlappende 4x4-Faltung mit Schritt 4 ersetzt, ähnlich der Patch-Einbettung in Vision Transformers.
• Tiefenfaltungen: Die 3x3-Faltungen in jedem Block werden durch Tiefenfaltungen ersetzt, die einen einzelnen Filter pro Eingabekanal anwenden, wodurch Rechenaufwand und Parameter reduziert werden.
• Invertierter Engpass: Die Blockstruktur wird zu einem breit-schmal-breit-Muster (Expansionsverhältnis von 4) geändert, bei dem die 1x1-Faltungen Kanäle erweitern und komprimieren, was die MLP-Blöcke in Transformatoren nachahmt.
• Größere Kernelgrößen: Die Kernelgröße wird von 3x3 auf 7x7 erhöht, was das rezeptive Feld und die Leistung verbessert.
• Weniger Aktivierungsfunktionen: GELU (Gaussian Error Linear Unit) ersetzt ReLU, und die Anzahl der Aktivierungsschichten wird auf eine pro Block reduziert.
• Schichtnormalisierung: LayerNorm ersetzt BatchNorm im gesamten Netzwerk, eine Änderung, die mit den Praktiken von Transformatoren übereinstimmt.
• Separate Downsampling-Schichten: Downsampling wird mit 2x2-Faltungsschichten mit Schritt 2 zwischen den Stufen durchgeführt, anstatt in den ersten Block jeder Stufe integriert zu werden.

Diese Änderungen werden schrittweise angewendet, wobei jeder Schritt die Genauigkeit auf ImageNet verbessert und in einem Modell gipfelt, das das ursprüngliche ResNet mit deutlichem Abstand übertrifft.

Modellvarianten

ConvNeXt ist in mehreren Konfigurationen verfügbar, die der Namenskonvention von ResNet folgen: ConvNeXt-T (tiny), ConvNeXt-S (small), ConvNeXt-B (base), ConvNeXt-L (large) und ConvNeXt-XL (extra large). Das Basismodell hat etwa 89 Millionen Parameter und erreicht 82,8% Top-1-Genauigkeit auf ImageNet-1K ohne externe Daten. Bei Vortraining auf größeren Datensätzen wie ImageNet-21K oder mit schwach überwachten Daten erreichen die größeren Varianten über 87% Top-1-Genauigkeit.

Die Architektur umfasst auch eine Variante namens ConvNeXt V2, die 2023 veröffentlicht wurde und einen vollständig convolutional maskierten Autoencoder für selbstüberwachtes Vortraining einführt. Diese Version verbessert die Stichprobeneffizienz und Robustheit und erzielt auf mehreren Benchmarks Spitzenergebnisse.

Leistung und Vergleiche

Auf dem ImageNet-1K-Klassifikationsbenchmark erreicht ConvNeXt-B 83,8% Top-1-Genauigkeit mit einem 224x224-Eingang, leicht höher als der DeiT-B-Vision-Transformer (81,8%) und vergleichbar mit dem Swin-Transformer (83,5%). Bei der Objekterkennung mit Mask R-CNN übertreffen ConvNeXt-Rückgrate sowohl ResNet als auch Swin Transformer in Bezug auf Box-AP und Mask-AP. Für die semantische Segmentierung mit UperNet erreicht ConvNeXt-L 53,1% mIoU auf ADE20K und übertrifft Swin-L um 0,6 Punkte.

Ein bemerkenswerter Vorteil ist, dass ConvNeXt-Modelle während der Inferenz speichereffizienter sind als Transformatoren, da sie keine Aufmerksamkeitsmatrizen speichern müssen. Dies macht sie attraktiv für die Bereitstellung auf Edge-Geräten und in Echtzeitanwendungen, einschließlich solcher von Unternehmen wie Apple und Samsung, die für maschinelles Lernen auf dem Gerät optimieren.

Auswirkungen und Einfluss

Die Einführung von ConvNeXt zeigte, dass convolutional Netzwerke nicht veraltet waren und modernisiert werden konnten, um mit attentionbasierten Architekturen zu konkurrieren. Sie beeinflusste nachfolgende Forschung zu hybriden Modellen, die Faltungen und Aufmerksamkeit kombinieren, wie ConvNeXt V2 und verschiedene effiziente Vision-Rückgrate. Die Designprinzipien wurden auch in anderen Bereichen übernommen, einschließlich Audio- und Videoverarbeitung, wo die induktiven Bias der Architektur vorteilhaft sind.

Forscher an Institutionen wie MIT CSAIL und Stanford AI Lab haben ConvNeXt als Schlüsselreferenz für das Verständnis der Kompromisse zwischen Faltung und Aufmerksamkeit zitiert. Der Code und die vortrainierten Modelle sind unter einer permissiven Lizenz quelloffen verfügbar, was eine breite Übernahme in Wissenschaft und Industrie erleichtert.

Einschränkungen und zukünftige Richtungen

Trotz seiner Stärken verlässt sich ConvNeXt weiterhin auf manuell entworfene Architekturen, während Transformatoren von Skalierungsgesetzen und einheitlichen Architekturen über Modalitäten hinweg profitiert haben. Einige Studien deuten darauf hin, dass die Leistungsgewinne von ConvNeXt bei sehr großen Datensätzen im Vergleich zu Transformatoren abnehmen, die sich durch das Erfassen langreichweitiger Abhängigkeiten auszeichnen. Zukünftige Arbeiten haben die Integration dynamischer Faltungen oder Mischungen von Experten untersucht, um die Kapazität weiter zu erhöhen.

Ab 2024 bleibt ConvNeXt eine starke Baseline in der Computer Vision und wird oft als Standard-Rückgrat in vielen Anwendungen verwendet. Seine Prinzipien wurden in neuere Architekturen wie FastViT und RepViT integriert, die darauf abzielen, Effizienz und Genauigkeit für mobile und Echtzeitszenarien in Einklang zu bringen.