RetinaNet ist eine einstufige Künstliche-Intelligenz-Architektur zur Objekterkennung, die auf maschinellem Lernen und neuronalen Netzen basiert. Sie wurde von Tsung-Yi Lin, Priya Goyal, Ross Girshick, Kaiming He und Piotr Dollár in einem 2017 veröffentlichten Paper mit dem Titel „Focal Loss for Dense Object Detection“ vorgestellt. Die Entwicklung erfolgte bei Facebook AI Research (heute Teil von Meta AI). Das Modell wurde entwickelt, um die Genauigkeitslücke zwischen einstufigen Detektoren, die typischerweise schneller, aber weniger genau sind, und zweistufigen Detektoren wie Faster R-CNN, die langsamer, aber präziser sind, zu überbrücken. RetinaNet erreicht eine hohe Genauigkeit durch den Einsatz des Focal Loss, einer neuartigen Verlustfunktion, die den Beitrag einfacher Negativbeispiele während des Trainings heruntergewichtet, sodass sich das Modell auf schwierige Beispiele und seltene Objektklassen konzentrieren kann.
Architektur und Focal Loss
RetinaNet ist ein vollständig konvolutionelles Netzwerk, das ein Feature-Pyramid-Network (FPN) als Rückgrat verwendet, um mehrskalige Merkmale zu extrahieren. Darauf folgen zwei aufgabenspezifische Teilnetzwerke: eines zur Klassifizierung von Objekten und eines zur Regression von Begrenzungsrahmen (Bounding Boxes). Das Klassifizierungsnetzwerk verwendet den Focal Loss, während das Regressionsnetzwerk eine standardmäßige glatte L1-Verlustfunktion nutzt. Die Architektur ist für dichte Erkennung ausgelegt, das heißt, sie sagt an jeder räumlichen Position über mehrere Skalen hinweg Objekte voraus, ohne einen separaten Regionsvorschlags-Schritt zu benötigen.
Die Kerninnovation von RetinaNet ist der Focal Loss, der die standardmäßige Kreuzentropie-Verlustfunktion modifiziert. Der Focal Loss fügt einen modulierenden Faktor \((1 - p_t)^\gamma\) zum Kreuzentropieterm hinzu, wobei \(p_t\) die vom Modell geschätzte Wahrscheinlichkeit für die wahre Klasse und \(\gamma\) ein Fokussierungsparameter ist (typischerweise auf 2 gesetzt). Dieser Faktor reduziert den Verlustbeitrag gut klassifizierter Beispiele (bei denen \(p_t\) hoch ist), wodurch verhindert wird, dass die große Anzahl einfacher Hintergrundbeispiele das Trainingssignal überwältigt. Das Paper zeigte, dass der Focal Loss allein, ohne architektonische Änderungen, ausreichte, um die Leistung zweistufiger Detektoren zu erreichen oder zu übertreffen.
Das Netzwerk verwendet ein Rückgrat auf Basis von ResNet (ResNet-50 oder ResNet-101), kombiniert mit einem Feature-Pyramid-Network, um Merkmalskarten auf mehreren Skalen zu erzeugen – von hochauflösenden Merkmalen mit niedriger Semantik bis zu niedrig aufgelösten Merkmalen mit hoher Semantik. Jede Ebene der Pyramide speist die Klassifizierungs- und Regressionsnetzwerke, die über alle Skalen hinweg gemeinsam genutzt werden. Dieses Design ermöglicht die Erkennung von Objekten unterschiedlicher Größen, von klein bis groß, in einem einzigen Vorwärtsdurchlauf.
Leistung und Benchmark-Ergebnisse
In der ursprünglichen Veröffentlichung erreichte RetinaNet eine durchschnittliche Präzision (Average Precision, AP) von 39,1 auf dem COCO-Test-Dev-Benchmark mit einem ResNet-101-FPN-Rückgrat. Damit übertraf es frühere einstufige Detektoren wie SSD und YOLOv2 und erreichte oder übertraf die Leistung zweistufiger Detektoren wie Faster R-CNN. Mit einem größeren Rückgrat (ResNeXt-101-FPN) wurde eine AP von 40,8 erzielt. Das Modell zeigte außerdem eine hohe Inferenzgeschwindigkeit und lief mit bis zu 5,4 Bildern pro Sekunde auf einer NVIDIA-M40-GPU mit dem ResNet-50-Rückgrat, was es für Echtzeitanwendungen geeignet macht.
Die Autoren stellten fest, dass der Focal Loss besonders effektiv bei extremem Klassenungleichgewicht war – im COCO-Datensatz gibt es etwa 100.000 Kandidatenpositionen pro Bild, aber nur wenige Objekte, sodass Hintergrundbeispiele die Vordergrundobjekte zahlenmäßig bei weitem übertreffen. Durch die Herabgewichtung einfacher Beispiele erzielte RetinaNet eine schnellere Konvergenz und eine bessere endgültige Genauigkeit als frühere dichte Detektoren.
Einfluss und Vermächtnis
RetinaNet wurde zu einer Standard-Baseline in der Computer Vision und fand breite Anwendung in der Industrie, unter anderem im autonomen Fahren, in der Überwachungstechnik und in der medizinischen Bildgebung. Seine Prinzipien beeinflussten nachfolgende Objektdetektoren, darunter EfficientDet und neuere einstufige Modelle. Der Focal Loss wurde auch für andere Aufgaben adaptiert, etwa für die semantische Segmentierung und die Verarbeitung natürlicher Sprache, wo ähnliche Probleme des Klassenungleichgewichts auftreten.
In Deep-Learning-Frameworks ist RetinaNet in gängigen Bibliotheken wie Detectron2, PyTorch's torchvision und der TensorFlow Object Detection API implementiert, was seine Nutzung durch Forscher und Praktiker erleichtert. Es wurde als Komponente in größeren KI-Systemen eingesetzt, unter anderem im Tesla-Autopilot zur Fahrzeug- und Fußgängererkennung sowie in der Selbstfahrtechnologie von Waymo, obwohl diese Unternehmen inzwischen auf maßgeschneiderte Architekturen umgestiegen sind.
Erweiterungen und Varianten
Für RetinaNet wurden mehrere Erweiterungen vorgeschlagen. Eine bemerkenswerte Variante ist RetinaMask, das RetinaNet um einen Maskenvorhersagezweig zur Instanzsegmentierung erweitert. Eine weitere ist FCOS (Fully Convolutional One-Stage), das auf ähnlichen Prinzipien aufbaut, aber eine zentrumsbasierte Vorhersage ohne Ankerboxen verwendet. Forscher haben auch die Integration von Aufmerksamkeitsmechanismen untersucht, etwa im DEtection TRansformer (DETR), der eine Transformer-Architektur nutzt, aber dasselbe Problem der dichten Erkennung adressiert.
Das ursprüngliche RetinaNet-Paper wurde häufig zitiert, mit über 10.000 Zitationen bis 2024, was seinen bedeutenden Einfluss auf das Gebiet der Objekterkennung widerspiegelt. Seine Beiträge zum Design von Verlustfunktionen bleiben eine Standardtechnik beim Training dichter Vorhersagenetzwerke.