DenseNet (Densely Connected Convolutional Network) ist eine neuronale Netzwerk-Architektur zur Bilderkennung, die jede Schicht mit jeder anderen Schicht in einer feed-forward-Weise verbindet. Im Gegensatz zu traditionellen Faltungsnetzwerken mit L Schichten, die L Verbindungen haben, hat DenseNet L(L+1)/2 direkte Verbindungen. Für jede Schicht werden die Feature-Maps aller vorherigen Schichten als Eingaben verwendet, und ihre eigenen Feature-Maps werden als Eingaben in alle nachfolgenden Schichten verwendet. Dieses dichte Verbindungsmuster wurde in einem Paper von 2016 von Gao Huang, Zhuang Liu, Laurens van der Maaten, und Kilian Q. Weinberger eingeführt, und es wurde auf der 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) präsentiert.
Die Architektur wurde entwickelt, um das Problem des verschwindenden Gradienten in tiefen Netzwerken zu adressieren. Durch die Bereitstellung kurzer Pfade von frühen Schichten zu späteren Schichten und zur Verlustfunktion erleichtert DenseNet den Fluss von Gradienten während des Trainings. Es fördert auch die Feature-Wiederverwendung, da jede Schicht kollektives Wissen von allen vorherigen Schichten erhält, was zu kompakteren Modellen führt. DenseNet erzielte bemerkenswerte Ergebnisse auf den ImageNet-und CIFAR-Benchmarks, oft mit weniger Parametern als vergleichbare Architekturen wie Deep-Learning-Modelle, die auf residualen Verbindungen basieren.
##Dichte Konnektivität und Wachstumsrate
In einem DenseNet erhält die l-te Schicht die Feature-Maps aller vorherigen Schichten, x_0, x_1, ..., x_{l-1}, als Eingabe. Der Ausgang der l-ten Schicht ist definiert als x_l = H_l([x_0, x_1, ..., x_{l-1}]), wobei [x_0, x_1, ..., x_{l-1}] die Konkatenation der Feature-Maps bezeichnet. Die Funktion H_l ist eine zusammengesetzte Operation, die typischerweise Batch-Normalisierung, eine rectified linear unit (ReLU)-Aktivierung,und eine 3x3-Faltung umfasst. Diese Konkatenation, eher als Summation, unterscheidet DenseNet von residualen Netzwerken, die additive Skip-Verbindungen verwenden
Jede Schicht fügt eine feste Anzahl von Feature-Maps hinzu, bezeichnet als die Wachstumsrate k. Wenn jedes H_l k Feature-Maps erzeugt, dann hat die l-te Schicht k_0 + k*(l-1) Eingabe-Feature-Maps, wobei k_0 die Anzahl der Kanäle im Eingabebild ist. Häufige Wachstumsraten sind 12, 24,und 32. Eine kleinere Wachstumsrate führt zu einem schmaleren Netzwerk, während größere Werte die Kapazität erhöhen. Die dichte Konnektivität bedeutet, dass die Gesamtzahl der Feature-Maps quadratisch mit der Tiefe wächst, aber die Verwendung von Bottleneck-Schichten und Kompression hilft, die Modellgröße zu kontrollieren
##Bottleneck-und Kompressionsschichten
Um die rechnerische Effizienz zu verbessern, integriert DenseNet eine Bottleneck-Schicht in jedem H_l für Architekturen wie DenseNet-B. Die Bottleneck-Schicht besteht aus Batch-Normalisierung, ReLU, einer 1x1-Faltung, die die Anzahl der Feature-Maps auf 4k reduziert, gefolgt von einer 3x3-Faltung. Dieses Design reduziert die Anzahl der Eingabekanäle für die 3x3-Faltung, was die Parameteranzahl und die Rechenkosten senkt. Zum Beispiel,in DenseNet-BC, wird der Bottleneck mit Kompression kombiniert
Kompression, bezeichnet durch den Theta-Parameter(mit Werten kleiner oder gleich 1), wird an Übergangsschichten angewendet. Eine Übergangsschicht, die zwischen dichten Blöcken platziert ist, besteht aus Batch-Normalisierung,einer 1x1-Faltung,und einer 2x2-Durchschnittspooling-Operation. Die 1x1-Faltung reduziert die Anzahl der Feature-Maps um einen Faktor von Theta. Wenn Theta kleiner als 1 ist, wird das Netzwerk als DenseNet-C bezeichnet. Die Kombination von Bottleneck und Kompression, DenseNet-BC, erwies sich als besonders effektiv, da es hohe Genauigkeit mit weniger Parametern als andere Architekturen erreichte
##Dichte Blöcke und Übergangsschichten
Das Netzwerk ist in dichte Blöcke organisiert, in denen dichte Konnektivität innerhalb jedes Blocks angewendet wird. Zwischen Blöcken kontrollieren Übergangsschichten die Größe der Feature-Maps. Eine typische DenseNet-Architektur für ImageNet, wie DenseNet-121, besteht aus vier dichten Blöcken mit 6, 12, 24,und 16 Schichten jeweils, mit einer Wachstumsrate von 32. Die erste Faltungsschicht vor dem ersten dichten Block hat 64 Kanäle. Nach dem letzten dichten Block erzeugen eine globale Durchschnittspooling-Schichtund ein Softmax-Klassifikator den Ausgang. Die Übergangsschichten zwischen Blöcken verwenden Kompression, um die Anzahl der Feature-Maps zu reduzieren, was hilft, den Speicherbedarf des Modells zu verringern
##Training und Leistung
DenseNet-Modelle werden unter Verwendung von stochastischem Gradientenabstieg mit Momentum, Gewichtsabfall,und einem Lernratenplan, der Aufwärmenund Abklingen umfasst, trainiert. Daten-Augmentierungstechniken wie zufälliges Zuschneiden, Spiegeln,und Normalisierung werden häufig eingesetzt. Auf dem ImageNet Large Scale Visual Recognition Challenge(ILSVRC) 2012-Datensatz erreichte DenseNet-201 eine Top-1-Fehlerrate von 22.15%und eine Top-5-Fehlerrate von 6.20%, was zu dieser Zeit mit den modernsten Ergebnissen konkurrenzfähig war. Auf CIFAR-10und CIFAR-100 erreichte DenseNet-BC mit einer Wachstumsratevon 12 Fehlerraten von 3.46%und 17.18% jeweils, wobei es viele Varianten residualer Netzwerke mit weniger Parametern übertraf
Die dichte Konnektivität bietet auch eine implizite Form von tiefer Überwachung, da jede Schicht direkten Zugang zum Gradienten von der Verlustfunktion hat. Diese Eigenschaft reduziert den Bedarf an Hilfsklassifikatoren. DenseNet wurde weitgehend in verschiedenen Computer-Vision-Aufgaben übernommen, einschließlich semantischer Segmentierung, Objekterkennung,und medizinischer Bildanalyse. Seine Designprinzipien haben nachfolgende Architekturen beeinflusst, wie solche, die in künstlicher Intelligenz-Systemen zur Bildverständnis verwendet werden
##Auswirkungen und Varianten
DenseNets Erfolg führte zu mehreren Variantenund Erweiterungen. Zum Beispiel wurde das Konzept der dichten Konnektivität in Modellen wie Dual Path Networks, die residuale und dichte Verbindungen verschmelzen, mit anderen Mechanismen kombiniert. Im Kontext von maschinellem Lernen-Forschung wurde DenseNet als Rückgrat für Feature-Extraktionin vielen Anwendungen verwendet. Seine effiziente Nutzung von Parametern macht es geeignet für die Bereitstellung auf ressourcenbeschränkten Geräten, einschließlich solcher von Samsung Electronicsund anderen Mobilhardware-Herstellern. Die Architektur diente auch als Baseline für Studien zum Design neuronaler Netzwerke, wie solche, die die Auswirkungen von Breite, Tiefe,und Kardinalität untersuchen. Während neuere Architekturen wie Transformatoren in einigen Bereichen dominant geworden sind, bleibt DenseNet ein grundlegendes Modell im Design von Faltungsnetzwerken.