A distância de Fréchet para inception (FID, na sigla em inglês) é uma métrica utilizada para avaliar a qualidade de imagens criadas por um modelo generativo, como uma rede adversária generativa (GAN, na sigla em inglês) ou um modelo de difusão. Introduzida em 2017, a FID tornou-se a métrica padrão para avaliar geradores de imagens sintéticas a partir de 2024. Ela compara a distribuição das imagens geradas com a distribuição de um conjunto de imagens reais, conhecido como ground truth, medindo a distância entre suas estatísticas de características extraídas de uma rede neural profunda. Uma pontuação FID mais baixa indica que as imagens geradas são mais semelhantes em qualidade e diversidade às imagens reais de referência, sendo que uma pontuação de 0 representa uma correspondência perfeita.
A métrica FID foi inspirada no inception score (IS, na sigla em inglês), mas aborda uma limitação fundamental: o IS avalia apenas a distribuição das imagens geradas, sem compará-las com dados reais. A FID, por outro lado, mede a similaridade entre as distribuições gerada e real, fornecendo uma avaliação mais abrangente. Ela tem sido amplamente utilizada para avaliar modelos como StyleGAN1, StyleGAN2 e vários modelos de difusão, permanecendo como uma referência fundamental na avaliação de modelos generativos.
Visão geral
O objetivo da pontuação FID é medir a diversidade e a fidelidade das imagens criadas por um modelo generativo em relação a um conjunto de dados de referência. O conjunto de dados de referência pode ser, por exemplo, o ImageNet ou o COCO-2014, e deve representar a diversidade total de imagens que o modelo pretende gerar. Como os modelos generativos produzem imagens novas que diferem de qualquer exemplo do conjunto de treinamento, a qualidade não pode ser avaliada por uma comparação pixel a pixel, como é feito com a norma L2.
Em vez disso, a FID modela os dois conjuntos de imagens como se fossem provenientes de duas distribuições gaussianas multidimensionais, denotadas como \(\mathcal{N}(\mu, \Sigma)\) para as imagens reais e \(\mathcal{N}(\mu', \Sigma')\) para as imagens geradas. A distância entre essas distribuições é calculada usando a distância de Wasserstein de ordem 2, que leva em conta tanto as diferenças nas médias quanto nas covariâncias. Essa abordagem captura não apenas se as imagens individuais parecem realistas, mas também se o conjunto gerado cobre a mesma variedade de variações que o conjunto real.
Em vez de comparar imagens diretamente no espaço de pixels, a FID utiliza uma rede neural convolucional, especificamente uma arquitetura Inception v3, para extrair características de alto nível. A camada mais profunda, um vetor de ativação de 2048 dimensões da última camada de pooling, é usada para representar cada imagem. Essas características correspondem a objetos do mundo real, como raças de cães ou aviões, tornando a comparação mais significativa semanticamente do que os pixels brutos.
Após processar todas as imagens através da rede Inception, as médias e covariâncias dos vetores de ativação são calculadas para os conjuntos real e gerado. A distância FID é então dada pela fórmula:
\[ d_F(\mathcal{N}(\mu, \Sigma), \mathcal{N}(\mu', \Sigma'))^2 = \lVert \mu - \mu' \rVert_2^2 + \operatorname{tr}\left(\Sigma + \Sigma' - 2(\Sigma \Sigma')^{1/2}\right) \]
Distâncias maiores indicam um modelo generativo pior, enquanto uma pontuação de 0 indica um modelo perfeito que replica exatamente a distribuição real.
Definição formal
Para quaisquer duas distribuições de probabilidade \(\mu\) e \(\nu\) sobre \(\mathbb{R}^n\) com médias e variâncias finitas, a distância de Fréchet é definida como:
\[ d_F(\mu, \nu) := \left( \inf_{\gamma \in \Gamma(\mu, \nu)} \int_{\mathbb{R}^n \times \mathbb{R}^n} \lVert x - y \rVert^2 \, d\gamma(x, y) \right)^{1/2} \]
onde \(\Gamma(\mu, \nu)\) é o conjunto de todos os acoplamentos (distribuições conjuntas) com marginais \(\mu\) e \(\nu\). Esta é a distância de Wasserstein de ordem 2, que possui uma solução de forma fechada quando ambas as distribuições são gaussianas. No contexto da FID, as distribuições são aproximadas como gaussianas usando as médias e covariâncias empíricas dos vetores de características, tornando o cálculo tratável.
O uso da distância de Fréchet, em vez de métricas mais simples como a divergência de Kullback-Leibler, permite que a FID capture tanto o deslocamento das médias quanto a incompatibilidade das covariâncias, fornecendo uma medida mais sutil de similaridade distribucional.
Comparação com o Inception Score
A métrica FID não substitui o inception score (IS); na verdade, ela o complementa. Classificadores que alcançam a melhor pontuação (mais baixa) de FID tendem a ter maior variedade de amostras, enquanto aqueles que alcançam a melhor pontuação (mais alta) de IS tendem a ter melhor qualidade em imagens individuais. Essa diferença surge porque o IS avalia apenas as imagens geradas, recompensando modelos que produzem predições de classe confiantes e diversas, mas sem penalizar modelos que geram imagens fora da distribuição alvo. A FID, ao comparar com um conjunto de referência real, penaliza tanto a falta de fidelidade quanto a falta de diversidade.
Na prática, pesquisadores frequentemente relatam tanto a FID quanto o IS para fornecer uma visão mais completa do desempenho do modelo. No entanto, a FID tornou-se a métrica preferida em muitos estudos recentes devido à sua correlação mais forte com a percepção humana da qualidade da imagem.
Uso na avaliação de modelos generativos
A FID tem sido usada para medir a qualidade de muitos modelos recentes, incluindo redes StyleGAN1 e StyleGAN2 de alta resolução e modelos de difusão. Por exemplo, o StyleGAN2 alcançou pontuações FID de última geração em conjuntos de dados como FFHQ e LSUN, demonstrando sua capacidade de gerar imagens diversas e realistas. Modelos de difusão, como o DDPM e modelos baseados em pontuação, também foram avaliados usando a FID, frequentemente alcançando pontuações competitivas ou superiores em comparação com GANs.
A métrica é particularmente valiosa para comparar modelos treinados no mesmo conjunto de dados, pois fornece uma maneira padronizada de quantificar o progresso. No entanto, a FID é sensível à escolha do conjunto de dados de referência e ao número de amostras usadas; usar poucas amostras pode levar a estimativas instáveis. Pesquisadores normalmente usam milhares de imagens para calcular pontuações FID confiáveis.
Limitações e críticas
Apesar de seu uso generalizado, a FID tem limitações. Ela assume que as distribuições de características são gaussianas, o que pode não ser verdade na prática, levando a possíveis imprecisões. Além disso, a FID é calculada usando uma rede Inception fixa, que pode não capturar todos os aspectos da qualidade da imagem, especialmente para domínios fora de imagens naturais, como imagens médicas ou de satélite. A métrica também pode ser enviesada pelo número de amostras e não fornece avaliações de qualidade por imagem.
Trabalhos recentes propuseram alternativas, como o uso de embeddings do CLIP em vez das características da Inception, para melhor alinhar a métrica com a similaridade semântica. Essas abordagens visam abordar algumas das deficiências da FID, mas ela continua sendo o padrão de facto no campo.
Implementação e cálculo
O cálculo da FID envolve várias etapas. Primeiro, um conjunto de dados de referência de imagens reais é selecionado, e todas as imagens são passadas através de uma rede Inception v3 pré-treinada para extrair os vetores de características de 2048 dimensões. O mesmo é feito para as imagens geradas. Em seguida, a média e a covariância dos vetores de características são calculadas para ambos os conjuntos. Finalmente, a distância de Fréchet é calculada usando a fórmula acima.
Na prática, as matrizes de covariância são frequentemente regularizadas para garantir estabilidade numérica, especialmente quando o número de amostras é menor que a dimensão das características. Implementações de código aberto estão disponíveis em bibliotecas como PyTorch e TensorFlow, tornando o cálculo da FID fácil para pesquisadores e profissionais.
Direções futuras
À medida que os modelos generativos continuam a evoluir, as métricas de avaliação também precisam se adaptar. Embora a FID tenha sido fundamental para o avanço do campo, há pesquisas em andamento sobre métricas mais robustas e interpretáveis. O uso de embeddings do CLIP, como mencionado, é uma dessas direções. Além disso, métricas que avaliam outros aspectos, como justiça ou robustez, estão sendo exploradas. No entanto, a FID permanece uma ferramenta-chave na caixa de ferramentas de aprendizado de máquina para avaliar modelos generativos.
Para leituras adicionais, consulte conceitos relacionados como inception score, rede adversária generativa, modelo de difusão e StyleGAN. O desenvolvimento da FID também está conectado a avanços em aprendizado profundo e visão computacional.