DeepLab ist eine Familie von Deep-Neural-Network-Architekturen für die semantische Segmentierung, eine Aufgabe im Bereich der Computer Vision, bei der jedem Pixel in einem Bild eine Klassenbezeichnung zugewiesen wird. Entwickelt von Forschern bei Google (zunächst bei Google Research, später Teil von Google DeepMind), zeichnen sich die DeepLab-Modelle durch ihre Verwendung von Atrous- (dilatierter) Faltung aus, einer Technik, die das rezeptive Feld von Filtern erweitert, ohne die Anzahl der Parameter zu erhöhen oder die räumliche Auflösung zu verlieren. Die Familie hat sich über mehrere Versionen weiterentwickelt, die jeweils Verfeinerungen in Architektur und Trainingsmethodik einführten, und hat durchweg Spitzenergebnisse auf Benchmark-Datensätzen wie PASCAL VOC und Cityscapes erzielt.
Die Kerninnovation von DeepLab ist die Anwendung der Atrous-Faltung, auch bekannt als dilatierte Faltung, auf die semantische Segmentierung. Bei einer Standardfaltung wird ein Filter auf einen zusammenhängenden Bereich der Eingabe angewendet. Die Atrous-Faltung fügt Nullen (Löcher) zwischen die Filtergewichte ein und verteilt sie dadurch. Die Dilatationsrate steuert den Abstand; eine Rate von 1 entspricht einer Standardfaltung, während höhere Raten das Sichtfeld erweitern. Dies ermöglicht es dem Netzwerk, Informationen aus einem größeren Kontext zu erfassen, ohne die Feature-Maps herunterzuskalieren, was entscheidend für die Erhaltung feiner Details an Segmentierungsgrenzen ist. DeepLab verwendet außerdem das Atrous Spatial Pyramid Pooling (ASPP), ein Modul, das mehrere Atrous-Faltungen mit unterschiedlichen Dilatationsraten parallel anwendet und deren Ausgaben anschließend fusioniert. Dieser Multi-Skalen-Ansatz hilft dem Modell, Objekte unterschiedlicher Größen zu erkennen.
Frühe Versionen: DeepLabv1 und DeepLabv2
Die erste Version, DeepLabv1, wurde 2015 eingeführt und kombinierte Atrous-Faltung mit vollständig verbundenen Conditional Random Fields (CRFs) zur Nachbearbeitung. Das CRF verfeinerte die grobe Netzwerkausgabe, indem es räumliche Konsistenz durchsetzte und Objektgrenzen schärfte. DeepLabv2, 2016 vorgestellt, fügte das ASPP-Modul hinzu und ersetzte das VGG-16-Backbone durch ein ResNet, was Genauigkeit und Effizienz verbesserte. Das v2-Modell erzielte Spitzenergebnisse auf dem PASCAL-VOC-2012-Benchmark und setzte einen neuen Standard für das Feld.
DeepLabv3 und DeepLabv3+
DeepLabv3, 2017 veröffentlicht, vereinfachte die Architektur, indem es die CRF-Nachbearbeitung entfernte, da das ASPP-Modul mit Batch-Normalisierung ausreichte, um Multi-Skalen-Kontext zu erfassen. Es führte auch eine effektivere Encoder-Decoder-Struktur in der anschließenden Version DeepLabv3+ ein, die ein Decoder-Modul zur Verfeinerung der Segmentierungsgrenzen hinzufügte, insbesondere für kleine Objekte. DeepLabv3+ wurde zu einer weit verbreiteten Baseline in der Machine-Learning-Community und wird häufig als Backbone für andere Aufgaben wie Instanzsegmentierung und panoptische Segmentierung verwendet. Die Leistung des Modells auf Cityscapes und anderen Datensätzen für autonomes Fahren machte es zu einer beliebten Wahl für reale Anwendungen.
Technische Details und Training
Die DeepLab-Modelle verwenden typischerweise ein vortrainiertes Backbone-Netzwerk wie ResNet oder Xception, wobei die finalen vollständig verbundenen Schichten entfernt werden. Der Output Stride, der das Verhältnis der Eingabebildgröße zur Größe der Ausgabe-Feature-Map bestimmt, ist ein zentraler Hyperparameter. DeepLabv3+ verwendet oft einen Output Stride von 16 während des Trainings und 8 während der Inferenz, um Geschwindigkeit und Genauigkeit auszubalancieren. Das Training umfasst Standardtechniken wie Data Augmentation, Batch-Normalisierung und Optimierung mit stochastischem Gradientenabstieg oder dessen Varianten. Die Verlustfunktion ist typischerweise ein pixelweiser Cross-Entropy-Verlust, der manchmal mit Hilfsverlusten für Zwischenschichten kombiniert wird.
Anwendungen und Einfluss
DeepLab wurde in zahlreichen Bereichen angewendet, darunter autonomes Fahren (Waymo und andere Unternehmen verwenden ähnliche Segmentierungsmodelle für das Szenenverständnis), medizinische Bildanalyse (z. B. Segmentierung von Organen oder Tumoren in Scans), Satellitenbildanalyse und erweiterte Realität. Sein Einfluss reicht über die semantische Segmentierung hinaus; die Atrous-Faltungstechnik wurde in anderen Architekturen übernommen, wie etwa U-Net-Varianten und Objekterkennungsmodellen. Die DeepLab-Familie ist auch eine häufige Komponente in größeren Systemen, einschließlich solcher für Bildbearbeitung und generative KI-Anwendungen, die präzise Objektgrenzen erfordern.
Die Entwicklung von DeepLab spiegelt breitere Trends im Deep Learning wider: die Verschiebung von handgefertigten Merkmalen zu end-to-end gelernten Repräsentationen, die Bedeutung der Multi-Skalen-Verarbeitung und das Bestreben nach Architekturen, die Genauigkeit mit Recheneffizienz in Einklang bringen. Während neuere Modelle, wie solche, die auf Transformatoren und für die Vision angepassten Large Language Models basieren, DeepLab bei einigen Benchmarks übertroffen haben, bleibt die DeepLab-Familie ein grundlegender Referenzpunkt im Bereich der semantischen Segmentierung.