SSD (Single Shot Detector) ist eine Familie von Deep Learning-Objekterkennungsmodellen, die Klassifikation und Lokalisierung in einem einzigen Vorwärtsdurchlauf eines neuronalen Netzwerks durchführen. Im Gegensatz zu früheren zweistufigen Detektoren, die zunächst Regionen vorschlagenund diese dann klassifizieren, diskretisiert SSD den Ausgaberaum von Begrenzungsrahmen in eine Menge von Standardrahmen über verschiedene Seitenverhältnisseund Skalen,und sagt dann die Objektklasseund Rahmenverschiebung für jeden Standardrahmen in einem Durchgang voraus. Dieses Design macht SSD erheblich schneller als seine Vorgänger, während es eine wettbewerbsfähige Genauigkeit beibehält, was es zu einer beliebten Wahl für Echtzeitanwendungen wie Videoüberwachung, autonomes Fahren,und erweiterte Realität machte
Die SSD-Architektur wurde in einem Paper von 2016 mit dem Titel„SSD: Single Shot MultiBox Detector“ von Wei Liu, Dragomir Anguelov, Dumitru Erhan, Christian Szegedy, Scott Reed, Cheng-Yang Fu,und Alexander C. Berg. eingeführt. Die Arbeit wurde bei Google durchgeführtund auf der European Conference on Computer Vision(ECCV) im Jahr 2016 präsentiert. Das Modell wurde auf dem VGG-16-Backbone aufgebaut, einer bekannten Convolutional Neural Network-Architektur,und fügte mehrere Hilfs-Convolutional-Schichten hinzu, die die räumliche Auflösung von Merkmalskarten progressiv reduzieren. Diese mehrskaligen Merkmalskarten ermöglichen es dem Detektor, Objekte unterschiedlicher Größen zu verarbeiten, wobei frühere Schichten feine Details für kleine Objekte erfassenund spätere Schichten mehr semantische Informationen für große Objekte bereitstellen
Architektur und Design
Die Kerninnovation von SSD ist die Verwendung von Standardrahmen, auch als Ankerrahmen bekannt, die vordefinierte Begrenzungsrahmen mit unterschiedlichen Seitenverhältnissenund Skalen an jeder Merkmalskartenposition sind. Für jeden Standardrahmen, sagt das Netzwerk die Klassenwahrscheinlichkeitenund vier Offsets relativ zu den Rahmenkoordinaten voraus. Während des Trainings werden Standardrahmen basierend auf Intersection-over-Union(IoU)-Schwellenwerten mit Ground-Truth-Objekten abgeglichen,und die Verlustfunktion kombiniert Lokalisierungsverlust(smooth L1)und Konfidenzverlust(Softmax-Kreuzentropie). SSD verwendet auch Hard Negative Mining, um das Ungleichgewicht zwischen positivenund negativen Beispielen zu adressieren, wobei ein Verhältnis von etwa 1:3 beibehalten wird
Das Netzwerk verwendet Merkmalskarten aus mehreren Schichten, typischerweise conv4_3, conv7, conv8_2, conv9_2, conv10_2,und conv11_2, wobei jede Schicht eine unterschiedliche Anzahl von Standardrahmen erzeugt. Zum Beispiel, im ursprünglichen SSD300(Eingabegröße 300x300, beträgt die Gesamtzahl der Standardrahmen 8732. Der Mehrskalenansatz ist entscheidend, weil er es dem Modell ermöglicht, kleine Objekte mithilfe hochauflösender Merkmalskartenund große Objekte mithilfe niedrigauflösender Merkmalskarten zu erkennen, ohne die Notwendigkeit einer expliziten Regionsvorschlagsphase
Trainingund Optimierung
SSD wurde auf den PASCAL VOC-und Microsoft COCO-Datensätzen trainiert. Auf dem PASCAL VOC 2007-Testsetz erreichte SSD300 72.1% mittlere durchschnittliche Präzision(mAP) bei 58 Bildern pro Sekunde(FPS) auf einer einzelnen Nvidia Titan X GPU, während SSD512 76.8% mAP bei 22 FPS erreichte. Diese Ergebnisse übertrafen den damaligen Stand der Technik Faster R-CNN(73.2% mAP bei 7 FPS)und YOLO(63.4% mAP bei 45 FPS)in Bezug auf den Geschwindigkeits-Genauigkeits-Kompromiss. Der Trainingsprozess verwendete Datenanreicherungstechniken wie zufällige Ausschnitte, Farbverzerrung,und horizontales Spiegeln, um die Robustheit zu verbessern
Die Autoren führten auch eine Variante namens SSD mit Merkmalsfusion ein, die niedrigstufigeund hochstufige Merkmalskarten kombiniert, um die Erkennung kleiner Objekte weiter zu verbessern. Spätere Arbeiten, wie DSSD(Deconvolutional Single Shot Detector)und FSSD(Feature Fusion Single Shot Multibox Detector, bauten auf SSDs Ideen auf, um die Genauigkeit zu verbessern, obwohl sie oft etwas Geschwindigkeit opferten
Auswirkungund Vermächtnis
SSD hat einen bleibenden Einfluss auf das Gebiet der Computer Visionund Objekterkennung gehabt. Es zeigte, dass einstufige Detektoren eine mit zweistufigen Detektoren vergleichbare Genauigkeit erreichen konnten, während sie viel schneller waren, was nachfolgende Modelle wie RetinaNetund YOLO-Versionen beeinflusste. Das Konzept der Standardrahmenund Mehrskalenprädiktion wurde in vielen modernen Detektoren weitgehend übernommen, einschließlich EfficientDetund den ankerbasierten Zweigen neuerer Architekturen. SSD wurde auch eine Standardkomponente in vielen Machine Learning-Frameworksund war im TensorFlow Object Detection API enthalten, was es für Praktiker zugänglich machte
Im Kontext der Künstlichen Intelligenz-Forschung, wird SSD oft als ein wichtiger Meilenstein in der Verschiebung hin zu Echtzeit-, effizienten Modellen zitiert, die auf Edge-Geräten laufen können. Seine Designprinzipien wurden über die Objekterkennung hinaus angewendet, wie bei der Gesichtserkennungund Texterkennung. Die Fähigkeit des Modells, Geschwindigkeitund Genauigkeit auszugleichen, machte es zu einer beliebten Wahl für eingebettete Systemeund mobile Anwendungen,und es bleibt ein Referenzpunkt in akademischen Benchmarks
Verwandte Entwicklungen
Nach SSD wurden mehrere Verbesserungen vorgeschlagen. Das RetinaNet-Modell führte Focal Loss ein, um das Klassenungleichgewichtsproblem in einstufigen Detektoren zu adressieren, und erreichte eine bessere Genauigkeit als SSD auf COCO. Die YOLO-Familie, beginnend mit YOLO9000, integrierte Mehrskalenprädiktionen ähnlich wie SSD. Zusätzlich, kombinierte die MobileNet-SSD-Variante SSD mit leichten Backbones für mobile Bereitstellungen, was zeigte, dass der Detektor an ressourcenbeschränkte Umgebungen angepasst werden konnte
In der breiteren Landschaft der Deep Learning-Architekturen, wird SSD oft mit regionsbasierten Methoden wie Faster R-CNNund mit den späteren transformerbasierten Detektoren wie DETR(Detection Transformer, verglichen, die die Notwendigkeit handgefertigter Anker eliminieren. Jedoch, SSDs Einfachheitund Effizienz haben seine anhaltende Relevanz sichergestellt, besonders in Szenarien, in denen Latenz kritisch ist
Siehe Auch
Referenzen
- Liu, W., Anguelov, D., Erhan, D., Szegedy, C., Reed, S., Fu, C.-Y., & Berg, A. C. (2016). SSD: Single Shot MultiBox Detector. ECCV.
- Lin, T.-Y., Goyal, P., Girshick, R., He, K., & Dollár, P. (2017). Focal Loss for Dense Object Detection. ICCV.