O Inception Score (IS) é um algoritmo usado para avaliar a qualidade de imagens criadas por um modelo generativo de imagens, como uma rede adversarial generativa (GAN). Foi introduzido em 2016 por Tim Salimans e colegas em um artigo sobre técnicas aprimoradas para treinar GANs. A pontuação é calculada com base na saída de um modelo separado e pré-treinado de classificação de imagens Inception v3, aplicado a uma amostra (tipicamente de cerca de 30.000) de imagens geradas pelo modelo generativo. O Inception Score é maximizado quando as seguintes condições são verdadeiras: a entropia da distribuição de rótulos prevista pelo modelo Inceptionv3 para as imagens geradas é minimizada (o modelo de classificação prevê com confiança um único rótulo para cada imagem, correspondendo a imagens 'nítidas' ou 'distintas'), e as previsões do modelo de classificação são distribuídas uniformemente entre todos os rótulos possíveis (correspondendo à saída sendo 'diversa'). Ele foi um tanto superado pela relacionada distância de Fréchet (FID). Enquanto o Inception Score avalia apenas a distribuição das imagens geradas, o FID compara a distribuição das imagens geradas com a distribuição de um conjunto de imagens reais ('ground truth').
O Inception Score é uma métrica amplamente utilizada no campo de IA generativa, particularmente para avaliar o desempenho de GANs e outros modelos generativos. Ele fornece um único valor escalar que visa capturar tanto a qualidade quanto a diversidade das imagens geradas, tornando-o conveniente para comparar diferentes modelos ou execuções de treinamento. No entanto, possui limitações conhecidas, incluindo sensibilidade à escolha do classificador pré-treinado e falta de comparação com imagens reais, que o FID aborda.
Definição
Sejam dois espaços, o espaço de imagens \(\Omega_X\) e o espaço de rótulos \(\Omega_Y\). O espaço de rótulos é finito. Seja \(p_{gen}\) uma distribuição de probabilidade sobre \(\Omega_X\) que desejamos julgar. Seja um discriminador uma função do tipo \(p_{dis}:\Omega_X \to M(\Omega_Y)\), onde \(M(\Omega_Y)\) é o conjunto de todas as distribuições de probabilidade em \(\Omega_Y\). Para qualquer imagem \(x\) e qualquer rótulo \(y\), seja \(p_{dis}(y|x)\) a probabilidade de que a imagem \(x\) tenha o rótulo \(y\), de acordo com o discriminador. Geralmente é implementado como uma rede Inception-v3 treinada no ImageNet.
O Inception Score de \(p_{gen}\) relativo a \(p_{dis}\) é definido como:
\[ IS(p_{gen},p_{dis}) := \exp\left(\mathbb{E}_{x\sim p_{gen}}\left[D_{KL}\left(p_{dis}(\cdot|x)\|\int p_{dis}(\cdot|x)p_{gen}(x)dx\right)\right]\right) \]
Reescritas equivalentes incluem:
\[ \ln IS(p_{gen},p_{dis}) := \mathbb{E}_{x\sim p_{gen}}\left[D_{KL}\left(p_{dis}(\cdot|x)\|\mathbb{E}_{x\sim p_{gen}}[p_{dis}(\cdot|x)]\right)\right] \]
Na prática, a expectativa sobre \(p_{gen}\) é aproximada pela amostragem de um conjunto finito de imagens geradas, e a distribuição marginal dos rótulos é estimada a partir dessa amostra.
Intuição e Interpretação
O Inception Score é projetado para recompensar duas propriedades das imagens geradas: clareza e variedade. A clareza é medida pela confiança do classificador: se o classificador atribui alta probabilidade a um único rótulo para cada imagem, a distribuição condicional de rótulos \(p_{dis}(\cdot|x)\) tem baixa entropia, o que aumenta a divergência KL. A variedade é medida pela uniformidade da distribuição marginal de rótulos: se as imagens geradas abrangem muitas classes, a distribuição marginal é próxima da uniforme, o que também aumenta a divergência KL. A função exponencial é aplicada para tornar a pontuação mais fácil de interpretar, com um valor mais alto indicando melhor qualidade.
A pontuação recebe o nome do modelo Inception v3, uma rede neural convolucional profunda desenvolvida pelo Google para classificação de imagens. O modelo é usado como um extrator de características fixo, e suas previsões servem como um proxy para a percepção humana do conteúdo da imagem.
Uso na Avaliação de Modelos Generativos
O Inception Score tornou-se uma métrica padrão na avaliação de GANs e outros modelos generativos, particularmente no período de 2016 a 2018. Foi usado em muitos artigos influentes, incluindo aqueles sobre GANs progressivas, StyleGAN e outras arquiteturas. Pesquisadores relatavam valores de IS em conjuntos de dados de referência como CIFAR-10 e ImageNet para demonstrar melhorias em relação a trabalhos anteriores.
No entanto, a pontuação foi criticada por várias razões. Primeiro, ela não compara imagens geradas com imagens reais, então um modelo que produz um conjunto diverso de imagens irrealistas ainda pode alcançar uma pontuação alta. Segundo, a pontuação é sensível ao classificador pré-treinado específico usado; diferentes versões do Inception v3 ou diferentes procedimentos de treinamento podem produzir pontuações diferentes. Terceiro, a pontuação pode ser manipulada por modelos que produzem imagens com certos artefatos que o classificador confunde com objetos reais.
Relação com a Distância de Fréchet
A distância de Fréchet (FID), introduzida em 2017 por Martin Heusel e colegas, foi desenvolvida para abordar algumas das limitações do Inception Score. A FID calcula a distância de Fréchet entre as distribuições de características de imagens geradas e reais, usando a penúltima camada da rede Inception v3 como extrator de características. Ao contrário do IS, a FID compara a distribuição gerada com uma distribuição de referência de imagens reais, fornecendo uma medida mais abrangente de qualidade e diversidade.
Na prática, a FID substituiu amplamente o IS como a métrica preferida em muitos ambientes de pesquisa, pois correlaciona melhor com o julgamento humano e é menos propensa a manipulação. No entanto, o IS permanece em uso, especialmente em contextos onde um conjunto de dados de referência não está disponível ou quando uma métrica rápida e simples é desejada.
Limitações e Críticas
Vários estudos destacaram as limitações do Inception Score. Por exemplo, a pontuação não penaliza o colapso de modo, um modo comum de falha de GANs onde o modelo gera apenas algumas imagens distintas. Se as imagens geradas são nítidas, mas não diversas, a distribuição marginal de rótulos pode ainda ser um tanto uniforme se os modos colapsados coincidirem em abranger muitas classes, mas na prática o colapso de modo frequentemente reduz a diversidade e, portanto, diminui a pontuação. No entanto, a pontuação não pode distinguir entre um modelo que gera uma distribuição uniforme de todas as classes e um que gera uma única imagem por classe com nitidez perfeita.
Outra crítica é que o Inception Score não é invariante à escolha do classificador. Diferentes classificadores treinados em diferentes conjuntos de dados podem produzir pontuações diferentes para o mesmo conjunto de imagens geradas. Isso torna difícil comparar pontuações entre diferentes artigos, a menos que exatamente o mesmo classificador seja usado.
Detalhes de Implementação
Para calcular o Inception Score, normalmente se usa um modelo Inception v3 pré-treinado, disponível em bibliotecas como TensorFlow ou PyTorch. O modelo é aplicado a uma amostra de imagens geradas, e as saídas softmax são coletadas. As distribuições condicionais de rótulos são então usadas para calcular a divergência KL com a distribuição marginal, e o exponencial da média é tomado. O tamanho da amostra é frequentemente definido como 30.000 imagens, conforme recomendado no artigo original, para reduzir a variância.
Na prática, a pontuação é calculada em lotes para evitar problemas de memória, e a distribuição marginal é estimada a partir de toda a amostra. O cálculo é relativamente rápido, tornando-o adequado para monitorar o progresso do treinamento.
Aplicações e Extensões
O Inception Score foi aplicado além de GANs a outros modelos generativos, como autoencoders variacionais e modelos de difusão, embora seu uso tenha diminuído com o aumento da FID. Também foi estendido de várias maneiras, como o Inception Score modificado (mIS) usado em alguns trabalhos, que ajusta para o número de classes ou usa um classificador diferente.
No contexto mais amplo de aprendizado de máquina e aprendizado profundo, o Inception Score representa uma tentativa inicial de quantificar a qualidade de modelos generativos, o que permanece um desafio em aberto. Outras métricas, como precisão e recall para modelos generativos, foram propostas para fornecer informações mais granulares.
Contexto Histórico
O Inception Score foi introduzido no artigo 'Improved Techniques for Training GANs' por Tim Salimans, Ian Goodfellow, Wojciech Zaremba, Vicki Cheung, Alec Radford e Xi Chen, publicado em 2016. O artigo também introduziu outras técnicas, como correspondência de características e discriminação de minilote. A pontuação rapidamente ganhou popularidade devido à sua simplicidade e à falta de métricas alternativas na época.
Desde então, o campo de modelagem generativa evoluiu significativamente, com o desenvolvimento de modelos e métodos de avaliação mais sofisticados. O Inception Score permanece um marco histórico e ainda é referenciado em muitos livros-texto e tutoriais sobre modelos generativos.