DenseNet (Densely Connected Convolutional Network) ist eine Art von künstlichem neuronalen Netzwerk, das hauptsächlich für Bilderkennung und Aufgaben im Bereich Computer Vision verwendet wird. Es wurde von Gao Huang, Zhuang Liu, Laurens van der Maaten und Kilian Q. Weinberger in einem Paper aus dem Jahr 2017 mit dem Titel „Densely Connected Convolutional Networks“ vorgeschlagen. Die Architektur zeichnet sich durch dichte Verbindungen aus: Innerhalb eines dichten Blocks erhält jede Schicht die Feature-Maps aller vorherigen Schichten als Eingaben und gibt ihre eigene Ausgabe an alle nachfolgenden Schichten weiter. Dieses Design unterscheidet sich von traditionellen Faltungsnetzwerken, bei denen Schichten sequenziell verbunden sind, und von Residualnetzwerken (ResNets), die Skip-Verbindungen verwenden, um die Eingabe eines Blocks zu seiner Ausgabe zu addieren.
Die Kernidee von DenseNet besteht darin, den Informationsfluss zwischen den Schichten zu maximieren, was hilft, das Problem der verschwindenden Gradienten in tiefen Netzwerken zu mildern. Durch die Verkettung von Feature-Maps anstelle ihrer Summierung fördert DenseNet die Wiederverwendung von Merkmalen, reduziert die Anzahl der Parameter und begünstigt einen starken Gradientenfluss während des Trainings. Die Architektur wurde in Aufgaben wie Bildklassifikation, Segmentierung und Objekterkennung weit verbreitet eingesetzt und hat nachfolgende Netzwerkdesigns beeinflusst.
Architektur
Ein DenseNet besteht aus mehreren dichten Blöcken, die jeweils eine Anzahl von Schichten enthalten. Innerhalb eines dichten Blocks führt jede Schicht eine Batch-Normalisierung, eine Aktivierung mit einer gleichgerichteten linearen Einheit (ReLU) und eine 3x3-Faltung durch. Die Ausgabe jeder Schicht wird mit den Eingaben aller vorherigen Schichten im Block verkettet, wodurch ein dichtes Verbindungsmuster entsteht. Wenn ein Block \(L\) Schichten hat, beträgt die Gesamtzahl der Verbindungen \(L(L+1)/2\).
Zwischen den dichten Blöcken werden Übergangsschichten verwendet, um die räumlichen Dimensionen und die Anzahl der Feature-Maps zu reduzieren. Eine Übergangsschicht besteht aus Batch-Normalisierung, einer 1x1-Faltung und einer 2x2-Durchschnittspooling-Operation. Der Kompressionsfaktor, der oft auf 0,5 gesetzt wird, steuert, wie viele Feature-Maps nach dem Übergang beibehalten werden.
Eine Wachstumsrate \(k\) bestimmt, wie viele neue Feature-Maps jede Schicht erzeugt. Beispielsweise fügt jede Schicht bei \(k=32\) 32 Feature-Maps zur kollektiven Eingabe hinzu. Dieser Parameter balanciert die Modellkapazität und die Rechenkosten. Häufige DenseNet-Varianten umfassen DenseNet-121, DenseNet-169, DenseNet-201 und DenseNet-264, wobei die Zahl die Gesamtzahl der Schichten angibt.
Mathematik
In einem dichten Block sei \(x_0\) die Eingabe des Blocks. Für Schicht \(\ell\) ist die Eingabe die Verkettung der Ausgaben aller vorherigen Schichten: \([x_0, x_1, \dots, x_{\ell-1}]\). Die Schicht berechnet eine zusammengesetzte Funktion \(H_\ell\) (die Batch-Normalisierung, ReLU und Faltung umfasst) und erzeugt \(x_\ell = H_\ell([x_0, x_1, \dots, x_{\ell-1}])\). Diese Verkettungsoperation ist der Hauptunterschied zu Residualverbindungen, die Addition verwenden.
Die dichte Verbindung stellt sicher, dass jede Schicht direkten Zugriff auf die Gradienten der Verlustfunktion hat, was das Problem der verschwindenden Gradienten mildert. Die Autoren zeigten, dass die Architektur eine regularisierende Wirkung hat und Überanpassung auf kleinen Datensätzen reduziert.
Training und Optimierung
DenseNets werden mit standardmäßigen Deep-Learning-Techniken trainiert, wie stochastischem Gradientenabstieg mit Momentum oder Adam. Die Netzwerke verwenden oft Daten-Augmentierung (z. B. zufälliges Zuschneiden, Spiegeln und Farb-Jitter), um die Generalisierung zu verbessern. Batch-Normalisierung wird vor jeder Aktivierung angewendet, was das Training stabilisiert und höhere Lernraten ermöglicht.
Beim ImageNet Large Scale Visual Recognition Challenge (ILSVRC) 2017 erzielte DenseNet State-of-the-Art-Ergebnisse, mit einer Top-5-Fehlerrate von 5,11 % für DenseNet-201, und übertraf damit frühere Architekturen wie ResNet. Das Modell zeigte auch Parametereffizienz, da es weniger Parameter als vergleichbare ResNets benötigte, um eine ähnliche Genauigkeit zu erreichen.
Anwendungen und Auswirkungen
DenseNet wurde auf verschiedene Bereiche über die Bildklassifikation hinaus angewendet, darunter medizinische Bildsegmentierung, Fernerkundung und Videoanalyse. Seine Designprinzipien haben andere Architekturen inspiriert, wie das Dual-Path-Network (DPN) und das mehrskalige dichte Netzwerk. Das Konzept der dichten Verbindungen wurde auch in Transformer-Modellen untersucht, obwohl der dominante Ansatz dort weiterhin Residualverbindungen sind.
Die Architektur ist in beliebten Deep-Learning-Frameworks wie PyTorch und TensorFlow verfügbar und wird oft als Rückgrat in Objekterkennungs- und Segmentierungsmodellen verwendet. Ihr Erfolg trug zum breiteren Trend bei, immer tiefere und effizientere Faltungsnetzwerke zu entwerfen, neben ResNet und U-Net.
Einschränkungen und Erweiterungen
Trotz seiner Stärken kann DenseNet speicherintensiv sein, da die Verkettung von Feature-Maps die Anforderungen an die Zwischenspeicherung erhöht. Forscher haben Varianten vorgeschlagen, um dies zu adressieren, wie DenseNet-BC (Bottleneck und Kompression) und Submanifold-Sparse-Faltungsnetzwerke für 3D-Daten. Die Architektur ist bei der Inferenz tendenziell auch langsamer als einige neuere Designs wie EfficientNet.
Insgesamt bleibt DenseNet eine grundlegende Architektur im Computer Vision und demonstriert die Vorteile dichter Verbindungen für die Wiederverwendung von Merkmalen und den Gradientenfluss. Seine Ideen beeinflussen weiterhin das moderne Netzwerkdesign, insbesondere in Szenarien, in denen Parametereffizienz und Genauigkeit entscheidend sind.