Die Fréchet Inception Distance (FID) ist eine Metrik zur Bewertung der Qualität von Bildern, die von einem generativen Modell wie einem generativen adversarischen Netzwerk (GAN) oder einem Diffusionsmodell erzeugt werden. FID wurde 2017 eingeführt und ist seit 2024 die Standardmetrik zur Bewertung synthetischer Bildgeneratoren. Sie vergleicht die Verteilung generierter Bilder mit der Verteilung einer Menge realer Bilder, die als Grundwahrheitsmenge bezeichnet wird, indem sie die Distanz zwischen deren Merkmalsstatistiken misst, die aus einem tiefen neuronalen Netz extrahiert werden. Ein niedrigerer FID-Wert zeigt an, dass die generierten Bilder in Qualität und Vielfalt den realen Referenzbildern ähnlicher sind, wobei ein Wert von 0 eine perfekte Übereinstimmung darstellt.
Die FID-Metrik wurde durch den früheren Inception Score (IS) inspiriert, behebt jedoch eine zentrale Einschränkung: IS bewertet nur die Verteilung generierter Bilder, ohne sie mit realen Daten zu vergleichen. FID hingegen misst die Ähnlichkeit zwischen den generierten und realen Verteilungen und bietet so eine umfassendere Bewertung. Sie wurde weithin verwendet, um Modelle wie StyleGAN1, StyleGAN2 und verschiedene Diffusionsmodelle zu benchmarken, und bleibt ein Eckpfeiler bei der Bewertung generativer Modelle.
Überblick
Der Zweck des FID-Scores besteht darin, die Vielfalt und Wiedergabetreue von Bildern zu messen, die von einem generativen Modell relativ zu einem Referenzdatensatz erzeugt werden. Der Referenzdatensatz könnte ImageNet oder COCO-2014 sein und sollte die gesamte Vielfalt der Bilder repräsentieren, die das Modell erzeugen soll. Da generative Modelle neuartige Bilder erzeugen, die sich von jedem Trainingsbeispiel unterscheiden, kann die Qualität nicht durch einen pixelweisen Vergleich bewertet werden, wie er mit der L2-Norm durchgeführt wird.
Stattdessen modelliert FID die beiden Bildmengen so, als ob sie aus zwei mehrdimensionalen Gaußverteilungen stammen würden, bezeichnet als \(\mathcal{N}(\mu, \Sigma)\) für reale Bilder und \(\mathcal{N}(\mu', \Sigma')\) für generierte Bilder. Die Distanz zwischen diesen Verteilungen wird als 2-Wasserstein-Distanz berechnet, die sowohl die Mittelwert- als auch die Kovarianzunterschiede berücksichtigt. Dieser Ansatz erfasst nicht nur, ob einzelne Bilder realistisch aussehen, sondern auch, ob die generierte Menge denselben Variationsbereich wie die reale Menge abdeckt.
Anstatt Bilder direkt im Pixelraum zu vergleichen, verwendet FID ein konvolutionales neuronales Netz, speziell eine Inception-v3-Architektur, um hochrangige Merkmale zu extrahieren. Die tiefste Schicht, ein 2048-dimensionaler Aktivierungsvektor aus der letzten Pooling-Schicht, wird verwendet, um jedes Bild darzustellen. Diese Merkmale entsprechen realen Objekten wie Hunderassen oder Flugzeugen, wodurch der Vergleich semantisch aussagekräftiger ist als rohe Pixel.
Nachdem alle Bilder durch das Inception-Netz verarbeitet wurden, werden die Mittelwerte und Kovarianzen der Aktivierungsvektoren für beide Mengen, die reale und die generierte, berechnet. Die FID-Distanz wird dann durch die folgende Formel angegeben:
\[ d_F(\mathcal{N}(\mu, \Sigma), \mathcal{N}(\mu', \Sigma'))^2 = \lVert \mu - \mu' \rVert_2^2 + \operatorname{tr}\left(\Sigma + \Sigma' - 2(\Sigma \Sigma')^{1/2}\right) \]
Höhere Distanzen weisen auf ein schlechteres generatives Modell hin, während ein Wert von 0 ein perfektes Modell anzeigt, das die reale Verteilung exakt repliziert.
Formale Definition
Für zwei beliebige Wahrscheinlichkeitsverteilungen \(\mu\) und \(\nu\) über \(\mathbb{R}^n\) mit endlichen Mittelwerten und Varianzen ist die Fréchet-Distanz definiert als:
\[ d_F(\mu, \nu) := \left( \inf_{\gamma \in \Gamma(\mu, \nu)} \int_{\mathbb{R}^n \times \mathbb{R}^n} \lVert x - y \rVert^2 \, d\gamma(x, y) \right)^{1/2} \]
wobei \(\Gamma(\mu, \nu)\) die Menge aller Kopplungen (gemeinsamen Verteilungen) mit Randverteilungen \(\mu\) und \(\nu\) ist. Dies ist die 2-Wasserstein-Distanz, die eine geschlossene Lösung hat, wenn beide Verteilungen Gaußverteilungen sind. Im Kontext von FID werden die Verteilungen mithilfe der empirischen Mittelwerte und Kovarianzen der Merkmalsvektoren als Gaußverteilungen approximiert, was die Berechnung handhabbar macht.
Die Verwendung der Fréchet-Distanz anstelle einfacherer Divergenzen wie der Kullback-Leibler-Divergenz ermöglicht es FID, sowohl die Mittelwertverschiebung als auch die Kovarianzabweichung zu erfassen, was ein nuancierteres Maß für die Verteilungsähnlichkeit bietet.
Formale Definition
Für zwei Wahrscheinlichkeitsverteilungen \(\mu\) und \(\nu\) über \(\mathbb{R}^n\) mit endlichen Mittelwerten und Varianzen ist die Fréchet-Distanz definiert als:
\[ d_F(\mu, \nu) := \left( \inf_{\gamma \in \Gamma(\mu, \nu)} \int_{\mathbb{R}^n \times \mathbb{R}^n} \lVert x - y \rVert^2 \, d\gamma(x, y) \right)^{1/2} \]
wobei \(\Gamma(\mu, \nu)\) die Menge aller Kopplungen (gemeinsamen Verteilungen) mit Randverteilungen \(\mu\) und \(\nu\) ist. Dies ist die 2-Wasserstein-Distanz, die eine geschlossene Lösung hat, wenn beide Verteilungen Gaußverteilungen sind. Im Kontext von FID werden die Verteilungen als Gaußverteilungen unter Verwendung der empirischen Mittelwerte und Kovarianzen der Merkmalsvektoren approximiert, was die Berechnung handhabbar macht.
Die Verwendung der Fréchet-Distanz anstelle einfacherer Divergenzen wie der Kullback-Leibler-Divergenz ermöglicht es FID, sowohl die Mittelwertverschiebung als auch die Kovarianzabweichungen zu erfassen und so ein nuancierteres Maß für die Verteilungsähnlichkeit zu bieten.
Vergleich mit Inception Score
Die FID-Metrik ersetzt nicht den Inception Score (IS), sondern ergänzt ihn. Klassifikatoren, die die besten (niedrigsten) FID-Werte erzielen, weisen tendenziell eine größere Stichprobenvielfalt auf, während Klassifikatoren mit dem besten (höchsten) IS-Wert tendenziell eine bessere Qualität einzelner Bilder aufweisen. Dieser Unterschied entsteht, weil IS nur die generierten Bilder bewertet und Modelle belohnt, die zuversichtliche, vielfältige Klassenvorhersagen erzeugen, ohne sie mit realen Daten zu vergleichen. FID hingegen vergleicht mit einer realen Referenzmenge und bestraft sowohl mangelnde Vielfalt als auch mangelnde Fidelity.
In der Praxis berichten Forscher oft beide Metriken, um ein vollständigeres Bild der Modellleistung zu erhalten. FID wird jedoch in vielen neueren Studien aufgrund seiner stärkeren Korrelation mit der wahrgenommenen Bildqualität bevorzugt.
Verwendung in der Bewertung generativer Modelle
FID wurde verwendet, um die Qualität vieler aktueller Modelle zu messen, darunter hochauflösende StyleGAN1- und StyleGAN2-Netzwerke sowie Diffusionsmodelle. Beispielsweise erreichte StyleGAN2 auf Datensätzen wie FFHQ und LSUN State-of-the-Art-FID-Werte, was seine Fähigkeit zur Erzeugung vielfältiger und realistischer Bilder demonstriert. Diffusionsmodelle wie DDPM und score-basierte Modelle wurden ebenfalls mit FID bewertet und erzielten oft konkurrenzfähige oder überlegene Werte im Vergleich zu GANs.
Die Metrik ist besonders wertvoll für den Vergleich von Modellen, die auf demselben Datensatz trainiert wurden, da sie eine standardisierte Möglichkeit zur Quantifizierung von Fortschritten bietet. Allerdings reagiert die Metrik empfindlich auf die Wahl des Referenzdatensatzes und die Anzahl der verwendeten Stichproben; eine zu geringe Stichprobenzahl kann zu instabilen Schätzungen führen. Forscher verwenden typischerweise Tausende von Bildern, um zuverlässige FID-Werte zu berechnen.
Vergleich mit dem Inception Score
FID ersetzt nicht den Inception Score (IS); vielmehr ergänzt er ihn. Modelle, die den besten (niedrigsten) FID erzielen, tendieren zu einer größeren Stichprobenvielfalt, während Modelle mit dem höchsten IS eine bessere Bildqualität innerhalb einzelner Bilder aufweisen. Dieser Unterschied ergibt sich daraus, dass IS nur die Verteilung der generierten Bilder bewertet, während FID sie mit einer realen Referenzverteilung vergleicht. In der Praxis verwenden viele Studien beide Metriken, um ein umfassenderes Bild der Modellleistung zu erhalten, wobei FID in jüngerer Forschung aufgrund seiner stärkeren Korrelation mit der wahrgenommenen Bildqualität oft bevorzugt wird.
Verwendung bei der Bewertung generativer Modelle
FID wurde verwendet, um die Qualität vieler neuerer Modelle zu messen, darunter StyleGAN1- und StyleGAN2-Netze sowie Diffusionsmodelle. StyleGAN2 erzielte beispielsweise Spitzenwerte bei FID auf Datensätzen wie FFHQ und LSUN, was seine Fähigkeit zur Erzeugung realistischer Bilder demonstriert. Diffusionsmodelle wie DDPM und score-basierte Modelle wurden ebenfalls mit FID bewertet und erzielten oft mit GANs vergleichbare oder bessere Werte.
Die Metrik ist besonders nützlich, um Modelle zu vergleichen, die auf demselben Datensatz trainiert wurden, da sie eine standardisierte Methode zur Quantifizierung von Fortschritten bietet. Allerdings reagiert FID empfindlich auf die Wahl des Referenzdatensatzes und die Anzahl der verwendeten Stichproben; Forscher verwenden in der Regel Tausende von Bildern, um stabile Schätzungen zu erhalten.
Einschränkungen und Kritik
FID hat mehrere Einschränkungen. Sie nimmt an, dass die Merkmalsverteilungen gaußförmig sind, was in der Praxis nicht immer zutrifft und zu verzerrten Ergebnissen führen kann. Darüber hinaus basiert FID auf einem Inception-v3-Netz, das auf ImageNet trainiert wurde, was möglicherweise nicht alle Aspekte der Bildqualität in anderen Bereichen wie medizinischen Bildern oder Satellitenbildern erfasst. Die Metrik kann auch durch die Stichprobengröße verzerrt werden und bietet keine Bewertung der Qualität einzelner Bilder.
Jüngste Arbeiten haben vorgeschlagen, CLIP-Embeddings anstelle von Inception-Merkmalen zu verwenden, um semantische Ähnlichkeiten besser zu erfassen. Diese Alternativen zielen darauf ab, einige der Einschränkungen von FID zu überwinden, aber FID bleibt der De-facto-Standard in der Bewertung generativer Modelle.
Implementierung und Berechnung
Die Berechnung von FID umfasst mehrere Schritte. Zunächst wird ein Referenzdatensatz realer Bilder durch ein vortrainiertes Inception-v3-Netz geleitet, um 2048-dimensionale Merkmalsvektoren zu extrahieren. Dasselbe wird für die generierten Bilder durchgeführt. Anschließend werden die Mittelwerte und Kovarianzmatrizen beider Merkmalssätze berechnet. Schließlich wird die Fréchet-Distanz zwischen den beiden Gaußverteilungen mithilfe der oben genannten Formel berechnet.
In der Praxis werden die Kovarianzmatrizen oft reguliert, um numerische Stabilität zu gewährleisten, insbesondere wenn die Stichprobengröße kleiner als die Merkmalsdimension ist. Open-Source-Implementierungen sind in Bibliotheken wie PyTorch und TensorFlow verfügbar, was die Anwendung von FID erleichtert.
Zukünftige Richtungen
Da sich generative Modelle weiterentwickeln, müssen auch die Bewertungsmetriken angepasst werden. Es gibt laufende Forschung zu Alternativen, die beispielsweise CLIP-Embeddings anstelle von Inception-Merkmalen verwenden, um eine bessere Übereinstimmung mit der semantischen Ähnlichkeit zu erzielen. Darüber hinaus werden Metriken untersucht, die andere Aspekte wie Fairness oder Robustheit berücksichtigen. Trotz dieser Entwicklungen bleibt FID ein zentrales Werkzeug in der Bewertung generativer Modelle und wird voraussichtlich auch in absehbarer Zukunft relevant bleiben.
Für weiterführende Literatur siehe Inception Score, Generative adversarial network, Diffusion model und StyleGAN. Die Entwicklung von FID ist eng mit Fortschritten im Bereich Deep learning und Computer vision verbunden.