Die Fréchet Inception Distance (FID) ist eine Metrik zur Bewertung der Qualität von Bildern, die von einem generativen Modell wie einem generativen adversarialen Netzwerk (GAN) oder einem Diffusionsmodell erzeugt werden. Sie misst die Ähnlichkeit zwischen der Verteilung von Merkmalen, die aus einer Menge realer Bilder extrahiert wurden, und der Verteilung von Merkmalen aus einer Menge generierter Bilder. Die FID wurde 2017 eingeführt und hat sich zu einem Standard-Benchmark für die Bewertung von Bildgenerierungsmodellen entwickelt, einschließlich hochauflösender Modelle wie StyleGAN und verschiedener Diffusionsmodelle.
Die FID ist von dem früheren Inception Score (IS) inspiriert, der nur die Vielfalt und Klarheit generierter Bilder bewertet. Die FID bietet jedoch einen umfassenderen Vergleich, indem sie auch berücksichtigt, wie gut die generierten Bilder mit der realen Datenverteilung übereinstimmen. Ein niedrigerer FID zeigt an, dass die generierten Bilder in Bezug auf die Merkmalsstatistiken ähnlicher zu realen Bildern sind, während ein höherer FID auf schlechtere Qualität oder geringere Vielfalt hindeutet.
Überblick
Der Zweck der FID besteht darin, die Vielfalt und Wiedergabetreue von Bildern zu messen, die von einem generativen Modell relativ zu einem Referenzdatensatz wie ImageNet oder COCO-2014 erzeugt werden. Die Verwendung eines großen und vielfältigen Referenzsatzes ist entscheidend, da er die gesamte Bandbreite der Bilder repräsentiert, die das Modell erzeugen soll. Generative Modelle erzeugen neuartige Bilder, die Merkmale mit dem Trainingssatz teilen, aber nicht identisch mit einem einzelnen Bild sind, weshalb pixelweise Vergleiche (z. B. unter Verwendung der L2-Norm) ungeeignet sind.
Stattdessen modelliert die FID die beiden Bildmengen, als ob sie aus zwei mehrdimensionalen Gaußschen Verteilungen stammen würden. Die Merkmale werden aus der vorletzten Pooling-Schicht eines Inception-v3-Netzwerks extrahiert, das hochrangige semantische Informationen über Objekte und Szenen erfasst. Der Abstand zwischen diesen beiden Gaußschen Verteilungen wird unter Verwendung der Fréchet-Distanz, auch bekannt als 2-Wasserstein-Distanz, berechnet.
Mathematische Definition
Für zwei Wahrscheinlichkeitsverteilungen \(\mu\) und \(\nu\) über \(\mathbb{R}^n\) mit endlichen Mittelwerten und Kovarianzen ist die Fréchet-Distanz definiert als:
\[ d_F(\mu, \nu) = \left( \inf_{\gamma \in \Gamma(\mu, \nu)} \int_{\mathbb{R}^n \times \mathbb{R}^n} \|x - y\|^2 \, d\gamma(x, y) \right)^{1/2} \]
wobei \(\Gamma(\mu, \nu)\) die Menge aller Kopplungen (gemeinsamen Verteilungen) mit Randverteilungen \(\mu\) und \(\nu\) ist. Wenn beide Verteilungen Gaußsch sind, vereinfacht sich dies zu:
\[ d_F(\mathcal{N}(\mu, \Sigma), \mathcal{N}(\mu', \Sigma')) = \|\mu - \mu'\|_2^2 + \operatorname{tr}\left( \Sigma + \Sigma' - 2 (\Sigma \Sigma')^{1/2} \right) \]
In der Praxis wird die FID berechnet, indem 2048-dimensionale Merkmalsvektoren aus der letzten Pooling-Schicht von Inception v3 für sowohl die realen als auch die generierten Bildmengen extrahiert werden. Der Stichprobenmittelwert und die Kovarianz dieser Merkmale werden dann in die obige Formel eingesetzt. Ein perfektes Modell hätte identische Merkmalsverteilungen, was zu einer FID von 0 führen würde.
Anwendungen und Einschränkungen
Die FID wird häufig verwendet, um generative Modelle zu vergleichen, Hyperparameter abzustimmen und den Trainingsfortschritt zu überwachen. Sie korreliert in vielen Fällen gut mit der menschlichen Wahrnehmung der Bildqualität, hat jedoch Einschränkungen. Die Metrik stützt sich auf die Merkmale des Inception-Netzwerks, die möglicherweise nicht alle Aspekte der visuellen Qualität erfassen, und sie nimmt Gaußsche Verteilungen an, die für komplexe reale Daten möglicherweise nicht gelten. Darüber hinaus kann die FID empfindlich auf die Anzahl der für die Bewertung verwendeten Stichproben reagieren, weshalb sie typischerweise auf einer großen Menge (z. B. 10.000 oder mehr Bildern) für Stabilität berechnet wird.
Verwandte Metriken
Die FID ist Teil einer Familie von verteilungsbasierten Metriken für generative Modelle. Der Inception Score konzentriert sich auf die Entropie der Klassenvorhersagen für generierte Bilder, während die Kernel Inception Distance (KID) einen Ansatz der maximalen Mittelwertabweichung verwendet. Neuere Arbeiten haben untersucht, CLIP-Einbettungen anstelle von Inception-Merkmalen zu verwenden, um besser mit semantischer Ähnlichkeit übereinzustimmen. Trotz ihrer Einschränkungen bleibt die FID ein Standardwerkzeug im Bereich der generativen Modellierung.
Siehe auch
- generatives adversariales Netzwerk
- Diffusionsmodell
- Inception Score
- StyleGAN
- ImageNet
- COCO
- CLIP
- Wasserstein-Distanz