Ein Region Proposal Network (RPN) ist eine Art von neuralem Netzwerk, das in der Objekterkennung verwendet wird, um Kandidatenregionen, oder Begrenzungsrahmen, zu generieren, die wahrscheinlich Objekte enthalten. Es wurde 2015 von Shaoqing Ren, Kaiming He, Ross Girshick, und Jian Sun als Teil der Faster R-CNN-Architektur eingeführt, die die Generierung von Regionsvorschlägen und die Objektklassifikation in einem einzigen end-to-end trainierbaren Modell vereinte. Das RPN ersetzte traditionelle Methoden zur Regionsvorschlagserzeugung wie selektive Suche, was sowohl Geschwindigkeit als auch Genauigkeit in Detektionspipelines erheblich verbesserte.
Das RPN arbeitet auf einer Feature-Map, die von einem Backbone-Convolutional-Netzwerk(wie VGG-16 oder ResNet) erzeugt wird. Es schiebt ein kleines Netzwerk über die Feature-Map, und an jeder Fensterposition sagt es mehrere Regionsvorschläge unter Verwendung einer Reihe von Ankerboxen unterschiedlicher Skalen und Seitenverhältnisse voraus. Die Ausgabe umfasst Objektheitswerte(die anzeigen, ob eine Region ein Objekt enthält)und verfeinerte Begrenzungsrahmenkoordinaten. Diese Vorschläge werden dann an einen nachgelagerten Klassifikator und einen Begrenzungsrahmen-Regressor zur endgültigen Erkennung weitergegeben.
Architektur und Mechanismus
Das RPN ist ein vollständig convolutionales Netzwerk. Es nimmt eine Eingabe-Feature-Map der Größe H x W x C auf und wendet eine 3x3-convolutionale Schicht an, gefolgt von zwei verwandten 1x1-convolutionalen Schichten: eine für die Klassifikation(Objekt vs. Hintergrund)und eine für die Regression(Begrenzungsrahmen-Offsets).. An jeder räumlichen Position verarbeitet das Netzwerk k Ankerboxen, wobei k typischerweise 9 ist(drei Skalen und drei Seitenverhältnisse).. Die Klassifikationsschicht gibt 2k Werte aus, und die Regressionsschicht gibt 4k Koordinaten aus. Während des Trainings werden Anker als positiv gekennzeichnet, wenn sie eine Intersection-over-Union(IoU)-Überlappung von mehr als 0.7 mit einer Ground-Truth-Box haben, oder wenn sie die höchste IoU mit einer Ground-Truth-Box aufweisen. Anker mit IoU unterhalb 0.3 werden als negativ gekennzeichnet. Die Verlustfunktion kombiniert Kreuzentropieverlust für die Klassifikationund glatten L1-Verlust für die Regression.
Training und Integration mit Faster R-CNN
In Faster R-CNN wird das RPN gemeinsam mit dem Erkennungsnetzwerk unter Verwendung eines Multi-Task-Verlusts trainiert. Das Training wechselt zwischen der Optimierung des RPN und des Fast R-CNN-Detektors, oder es kann end-to-end über Backpropagation erfolgen. Das RPN teilt convolutionale Merkmale mit dem Detektor, was redundante Berechnungen reduziert. Die vom RPN generierten Vorschläge werden als Eingabe für eine Region-of-Interest(RoI)-Pooling-Schicht verwendet, die für jeden Vorschlag Feature-Maps fester Größe extrahiert, gefolgt von vollständig verbundenen Schichten für Klassifikationund Begrenzungsrahmenverfeinerung. Dieses Design ermöglichte es Faster R-CNN, mit nahezu Echtzeitgeschwindigkeiten(etwa 5-17 Bilder pro Sekunde auf einer GPU) zu laufen, während es State-of-the-Art-Genauigkeit auf Benchmarks wie PASCAL VOC und MS COCO erreichte.
Auswirkung und Entwicklung
Seit seiner Einführung ist das RPN zu einem grundlegenden Bestandteil vieler Objekterkennungsarchitekturen geworden. Es beeinflusste spätere Modelle wie Mask R-CNN(für Instanzsegmentierung), FPN(Feature Pyramid Network), das das RPN mit mehrskaligen Feature-Maps verbessert, und einstufige Detektoren wie RetinaNet, die ankerbasierte Vorhersage integrieren. Das Konzept der Ankerboxen und der Regionsvorschlagserzeugung wurde auch in anderen Bereichen adaptiert, einschließlich Künstlicher Intelligenz-Anwendungen wie autonomes Fahren und medizinische Bildgebung. Die Fähigkeit des RPN, hochwertige Vorschläge mit minimalem Rechenaufwand zu generieren, machte es zu einer Schlüsselinnovation in der Deep-Learning-Ära der Computer Vision.
Einschränkungen und Alternativen
Trotz seines Erfolgs hat das RPN Einschränkungen. Die Verwendung vordefinierter Ankerboxen erfordert eine sorgfältige Abstimmung der Skalen und Seitenverhältnisse, was für Objekte mit ungewöhnlichen Formen suboptimal sein kann. Ankerbasierte Methoden generieren auch eine große Anzahl von Vorschlägen, von denen viele redundant sind, was zu Rechenineffizienz führt. Um diese Probleme zu beheben, wurden ankerfreie Detektoren wie CornerNet und CenterNet vorgeschlagen, die Schlüsselpunkte oder Zentren direkt ohne Anker vorhersagen. Das RPN bleibt jedoch aufgrund seiner Einfachheitund Effektivität weit verbreitet, und es ist weiterhin eine Standardkomponente in vielen modernen Erkennungsframeworks.