La distancia de Fréchet inception (FID) es una métrica utilizada para evaluar la calidad de las imágenes creadas por un modelo generativo, como una red generativa adversarial (GAN) o un modelo de difusión. Mide la similitud entre la distribución de características extraídas de un conjunto de imágenes reales y la distribución de características de un conjunto de imágenes generadas. La FID fue introducida en 2017 y se ha convertido en un estándar de referencia para evaluar modelos de generación de imágenes, incluidos modelos de alta resolución como StyleGAN y varios modelos de difusión.
La FID está inspirada en la puntuación de inception (IS) anterior, que evalúa solo la diversidad y claridad de las imágenes generadas. Sin embargo, la FID proporciona una comparación más completa al considerar también qué tan bien las imágenes generadas coinciden con la distribución de datos reales. Una FID más baja indica que las imágenes generadas son más similares a las imágenes reales en términos de estadísticas de características, mientras que una FID más alta sugiere una calidad inferior o menos diversidad.
Resumen
El propósito de la FID es medir la diversidad y fidelidad de las imágenes producidas por un modelo generativo en relación con un conjunto de datos de referencia, como ImageNet o COCO-2014. Usar un conjunto de referencia grande y diverso es crucial porque representa la gama completa de imágenes que el modelo pretende generar. Los modelos generativos producen imágenes novedosas que comparten características con el conjunto de entrenamiento pero no son idénticas a ninguna imagen individual, por lo que las comparaciones píxel a píxel (por ejemplo, usando la norma L2) son inadecuadas.
En su lugar, la FID modela los dos conjuntos de imágenes como si fueran extraídos de dos distribuciones gaussianas multidimensionales. Las características se extraen de la penúltima capa de agrupación de una red Inception v3, que captura información semántica de alto nivel sobre objetos y escenas. La distancia entre estas dos distribuciones gaussianas se calcula utilizando la distancia de Fréchet, también conocida como distancia de Wasserstein de segundo orden.
Definición Matemática
Para dos distribuciones de probabilidad \(\mu\) y \(\nu\) sobre \(\mathbb{R}^n\) con medias y covarianzas finitas, la distancia de Fréchet se define como:
\[ d_F(\mu, \nu) = \left( \inf_{\gamma \in \Gamma(\mu, \nu)} \int_{\mathbb{R}^n \times \mathbb{R}^n} \|x - y\|^2 \, d\gamma(x, y) \right)^{1/2} \]
donde \(\Gamma(\mu, \nu)\) es el conjunto de todos los acoplamientos (distribuciones conjuntas) con marginales \(\mu\) y \(\nu\). Cuando ambas distribuciones son gaussianas, esto se simplifica a:
\[ d_F(\mathcal{N}(\mu, \Sigma), \mathcal{N}(\mu', \Sigma')) = \|\mu - \mu'\|_2^2 + \operatorname{tr}\left( \Sigma + \Sigma' - 2 (\Sigma \Sigma')^{1/2} \right) \]
En la práctica, la FID se calcula extrayendo vectores de características de 2048 dimensiones de la última capa de agrupación de Inception v3 tanto para el conjunto de imágenes reales como para el de imágenes generadas. La media muestral y la covarianza de estas características se insertan luego en la fórmula anterior. Un modelo perfecto tendría distribuciones de características idénticas, lo que daría una FID de 0.
Aplicaciones y Limitaciones
La FID se usa ampliamente para comparar modelos generativos, ajustar hiperparámetros y monitorear el progreso del entrenamiento. Se correlaciona bien con la percepción humana de la calidad de imagen en muchos casos, pero tiene limitaciones. La métrica depende de las características de la red Inception, que pueden no capturar todos los aspectos de la calidad visual, y asume distribuciones gaussianas, que pueden no cumplirse para datos complejos del mundo real. Además, la FID puede ser sensible al número de muestras utilizadas para la evaluación, por lo que típicamente se calcula sobre un conjunto grande (por ejemplo, 10,000 o más imágenes) para mayor estabilidad.
Métricas Relacionadas
La FID es parte de una familia de métricas basadas en distribuciones para modelos generativos. La puntuación de inception se centra en la entropía de las predicciones de clase para imágenes generadas, mientras que la distancia de inception kernel (KID) utiliza un enfoque de discrepancia máxima media. Trabajos más recientes han explorado el uso de incrustaciones de CLIP en lugar de características de Inception para alinearse mejor con la similitud semántica. A pesar de sus limitaciones, la FID sigue siendo una herramienta estándar en el campo del modelado generativo.
Véase También
- red generativa adversarial
- modelo de difusión
- puntuación de inception
- StyleGAN
- ImageNet
- COCO
- CLIP
- distancia de Wasserstein