Ein Feature Pyramid Network (FPN) ist eine neuronale Netzwerkarchitektur, die darauf ausgelegt ist, mehrskalige Feature-Maps für die Objekterkennung und andere Aufgaben der Computer Vision zu extrahieren. Eingeführt von Tsung-Yi Lin, Piotr Dollár, Ross Girshick, Kaiming He, Bharath Hariharan und Serge Belongie in ihrer Arbeit von 2017 mit dem Titel "Feature Pyramid Networks for Object Detection", adressiert FPN die Herausforderung, Objekte in unterschiedlichen Maßstäben zu erkennen, indem es eine Pyramide von Feature-Maps mit reichhaltigen semantischen Informationen auf jeder Ebene aufbaut. Es ist zu einer grundlegenden Komponente vieler moderner Detektoren wie Faster R-CNN und Mask R-CNN geworden und wird häufig in maschinellem Lernen und Deep Learning-Anwendungen eingesetzt.
Die Kernidee von FPN besteht darin, die inhärenten mehrskaligen, hierarchischen Feature-Repräsentationen eines konvolutionären neuronalen Netzwerks (typischerweise eines Backbones wie ResNet) zu nutzen und sie durch einen Top-Down-Pfad zu verbessern, der hochrangige semantische Merkmale auf niedrigere Auflösungen überträgt. Dies wird durch laterale Verbindungen erreicht, die entsprechende Feature-Maps aus dem Bottom-Up-Pfad zusammenführen und es dem Netzwerk ermöglichen, starke Merkmale auf jeder Skala zu erzeugen. Dadurch verbessert FPN die Erkennungsleistung, insbesondere für kleine Objekte, ohne die Rechenkosten signifikant zu erhöhen.
Architektur
FPN besteht aus zwei Hauptpfaden: einem Bottom-Up-Pfad und einem Top-Down-Pfad. Der Bottom-Up-Pfad ist das standardmäßige vorwärtsgerichtete konvolutionäre Netzwerk (z. B. ResNet), das Feature-Maps auf mehreren Skalen berechnet, typischerweise mit Schritten von 4, 8, 16 und 32 Pixeln relativ zum Eingabebild. Diese Feature-Maps werden als C2, C3, C4 und C5 bezeichnet und entsprechen den Ausgaben der letzten Residualblöcke auf jeder Stufe.
Der Top-Down-Pfad erzeugt höherauflösende Feature-Maps, indem er räumlich gröbere, aber semantisch stärkere Merkmale aus höheren Schichten hochskaliert. Jede hochskalierte Feature-Map wird dann über eine 1x1-Faltungsschicht (zur Reduktion der Kanaldimensionen) mit der entsprechenden Bottom-Up-Feature-Map zusammengeführt, gefolgt von einer elementweisen Addition. Das zusammengeführte Ergebnis wird durch eine 3x3-Faltung geleitet, um die endgültige Feature-Map für diese Skala zu erzeugen, die als P2, P3, P4 und P5 bezeichnet wird. Diese Feature-Maps werden für die Objekterkennung verwendet, wobei jede Ebene für die Erkennung von Objekten in einem bestimmten Größenbereich verantwortlich ist.
Anwendungen
FPN wurde in großem Umfang in Objekterkennungs-Frameworks übernommen. In Faster R-CNN wird FPN als Feature-Extraktor für das Region Proposal Network (RPN) und den anschließenden ROI-basierten Klassifikator verwendet, sodass das Modell Objekte unterschiedlicher Größen effektiv verarbeiten kann. Mask R-CNN erweitert FPN für die Instanzsegmentierung und nutzt die mehrskaligen Merkmale zur Erzeugung von Segmentierungsmasken. FPN kommt auch anderen Aufgaben wie der semantischen Segmentierung und der Erkennung von Schlüsselpunkten zugute, bei denen mehrskaliger Kontext entscheidend ist.
Über die Erkennung hinaus hat FPN ähnliche Architekturen in anderen Bereichen inspiriert, wie etwa U-Net für die biomedizinische Bildsegmentierung, das ebenfalls einen symmetrischen Encoder-Decoder mit Skip-Verbindungen verwendet. Das spezifische Design von FPN mit lateralen Verbindungen und Top-Down-Fusion hat sich jedoch als besonders effektiv für Erkennungsaufgaben erwiesen.
Varianten und Verbesserungen
Es wurden mehrere Varianten von FPN vorgeschlagen, um seine Effizienz und Genauigkeit zu verbessern. Beispielsweise führt BiFPN (Bidirectional Feature Pyramid Network), das in EfficientDet verwendet wird, gewichtete bidirektionale Feature-Fusion ein, sodass das Netzwerk die Bedeutung verschiedener Eingabemerkmale lernen kann. Eine weitere Variante, PANet (Path Aggregation Network), fügt eine zusätzliche Bottom-Up-Pfad-Augmentierung hinzu, um den Informationspfad zwischen Merkmalen niedriger und hoher Ebene zu verkürzen. Diese Verbesserungen haben den Stand der Technik in der Objekterkennung auf Benchmarks wie COCO vorangetrieben.
Einfluss und Vermächtnis
FPN hatte einen nachhaltigen Einfluss auf das Gebiet der Computer Vision. Seine Einführung markierte einen Wandel von der Verwendung einstufiger Merkmale hin zu mehrskaligen Feature-Pyramiden, die heute in Erkennungsarchitekturen Standard sind. Die Arbeit wurde tausende Male zitiert und hat die nachfolgende Forschung im Bereich Residualnetzwerk-Design und Feature-Fusion beeinflusst. Die Prinzipien von FPN werden auch in anderen Bereichen angewendet, etwa in Datenaugmentierungs-Strategien, die Skalenvariationen während des Trainings simulieren.
Zusammenfassend ist das Feature Pyramid Network eine zentrale architektonische Innovation, die eine robuste mehrskalige Objekterkennung ermöglicht, und sein Einfluss erstreckt sich auf viele moderne Computer-Vision-Anwendungen.