Faster R-CNN ist eine Objekterkennungsarchitektur im Bereich des Deep Learning und der Computer Vision, die die Generierung von Regionsvorschlägen und die Objektklassifikation in einem einzigen, trainierbaren neuralen Netzwerk vereint. Sie wurde 2015 von Shaoqing Ren, Kaiming He, Ross Girshick und Jian Sun eingeführt und baut auf den früheren Modellen R-CNN und Fast R-CNN auf. Die zentrale Innovation ist das Region Proposal Network (RPN), das die Faltungsmerkmale des gesamten Bildes mit dem Detektor teilt und so die Rechenkosten für die Generierung von Kandidatenregionen drastisch reduziert. Dieses Design ermöglicht nahezu Echtzeit-Inferenzgeschwindigkeiten bei gleichzeitig hoher Erkennungsgenauigkeit und etabliert es als grundlegendes Modell für moderne Objekterkennungssysteme.
Faster R-CNN arbeitet als zweistufiger Detektor. Die erste Stufe verwendet das RPN, um eine Reihe von rechteckigen Objektregionen vorzuschlagen. Die zweite Stufe, ein Erkennungsnetzwerk, klassifiziert diese Regionen in spezifische Objektkategorien und verfeinert ihre Begrenzungsrahmen. Diese Trennung steht im Gegensatz zu einstufigen Detektoren wie YOLO oder SSD, die Begrenzungsrahmen und Klassenwahrscheinlichkeiten direkt aus einem Merkmalsraster regressieren. Der zweistufige Ansatz liefert typischerweise eine überlegene Lokalisierungsgenauigkeit, insbesondere für kleine oder verdeckte Objekte, was Faster R-CNN zu einem Standard-Benchmark in der Maschinenlern-Forschung gemacht hat.
Architektur
Die Architektur besteht aus drei Hauptkomponenten: einem Backbone-Faltungsnetzwerk, dem RPN und dem Regions-of-Interest (RoI)-Klassifikator. Der Backbone, oft ein vortrainiertes Netzwerk wie VGG-16 oder ResNet, extrahiert Merkmalskarten aus dem Eingabebild. Das RPN arbeitet auf diesen Merkmalskarten und verwendet ein kleines gleitendes Fenster, um Objektheitswerte und Box-Regressions-Offsets für eine Reihe von Ankerboxen in mehreren Maßstäben und Seitenverhältnissen vorherzusagen. Die Anker ermöglichen es dem Netzwerk, Objekte unterschiedlicher Formen ohne mehrskalige Bildpyramiden zu verarbeiten. Die resultierenden Vorschläge werden dann mithilfe von RoI-Pooling auf eine feste Größe gebracht und durch den Klassifikator geleitet, der Klassenwahrscheinlichkeiten und verfeinerte Begrenzungsrahmen ausgibt.
Training
Das Training erfolgt end-to-end mit einer Multi-Task-Verlustfunktion, die Klassifikations- und Regressionsverluste für sowohl das RPN als auch den Detektor kombiniert. Die ursprüngliche Implementierung verwendete einen abwechselnden Optimierungsplan, aber spätere Versionen übernahmen gemeinsames Training mit Backpropagation durch alle Schichten. Das RPN wird mit binären Labels trainiert, die anzeigen, ob ein Anker ein Objekt enthält, während der Detektor feinkörnige Klassenlabels verwendet. Um die große Anzahl von Ankerboxen zu bewältigen, wählt eine Stichprobenstrategie während des Trainings eine ausgewogene Charge aus. Dieser vereinheitlichte Trainingsansatz ist eine bedeutende Abweichung von früheren R-CNN-Methoden, die ein separates Training von Regionsvorschlagsalgorithmen wie Selective Search erforderten.
Leistung und Auswirkungen
Auf den PASCAL-VOC-2007- und 2012-Benchmarks erreichte Faster R-CNN state-of-the-art mAP-Werte von 73,2% bzw. 70,4%, während es mit 5 Bildern pro Sekunde auf einer GPU lief. Dies war eine erhebliche Verbesserung gegenüber Fast R-CNN, das Sekunden pro Bild benötigte. Die Einführung des RPN beseitigte den Engpass externer Regionsvorschlagsmethoden und machte die gesamte Erkennungspipeline end-to-end trainierbar. Diese Arbeit beeinflusste nachfolgende Modelle wie Mask R-CNN für die Instanzsegmentierung und verschiedene regionenbasierte Frameworks. Ihre Prinzipien wurden in kommerziellen Systemen weit verbreitet übernommen, einschließlich Wahrnehmungsstapeln für autonomes Fahren bei Unternehmen wie Waymo und Tesla Autopilot.
Varianten und Erweiterungen
Zahlreiche Erweiterungen wurden vorgeschlagen, um spezifische Aspekte von Faster R-CNN zu verbessern. Feature-Pyramid-Netzwerke (FPN) integrieren mehrskalige Merkmalskarten, um die Erkennung kleiner Objekte zu verbessern. Cascade R-CNN verwendet eine Sequenz von Detektoren mit zunehmenden IoU-Schwellenwerten, um Vorschläge iterativ zu verfeinern. Andere Arbeiten haben leichte Backbones für den mobilen Einsatz untersucht, wie etwa ARM Holdings-basierte Edge-Geräte für die Bereitstellung. Im Kontext von generativer KI wurde Faster R-CNN auch als Komponente in Vision-Sprach-Modellen verwendet, obwohl große Systeme oft Transformer-basierte Detektoren bevorzugen. Die Forschung zur Effizienzsteigerung wird fortgesetzt, wobei Quantisierungs- und Pruning-Techniken von Hardware-Anbietern wie Intel und Qualcomm angewendet werden.
Verwandte Methoden
Faster R-CNN gehört zur breiteren Familie regionenbasierter Faltungsnetzwerke, zu der auch R-CNN und Fast R-CNN gehören. Es wird oft mit einstufigen Detektoren wie YOLO und SSD verglichen, die höhere Geschwindigkeit, aber typischerweise geringere Genauigkeit bieten. Nachfolgende hybride Architekturen wie RetinaNet versuchen, diese Lücke mit Focal Loss zu überbrücken. In der modernen Deep-Learning-Landschaft sind aufmerksamkeitsbasierte Detektoren mit Transformer-Architekturen in den Vordergrund gerückt, aber Faster R-CNN bleibt eine weit verbreitete Baseline und eine häufige Komponente in Ensemble-Methoden.