Integrated Gradients é uma técnica em aprendizado de máquina para explicar as previsões de modelos de aprendizado profundo, particularmente redes neurais. Ela calcula um valor de atribuição para cada característica de entrada, indicando o quanto essa característica contribuiu para a saída do modelo em uma previsão específica. O método foi introduzido em um artigo de 2017 por Mukund Sundararajan, Ankur Taly e Qiqi Yan, e é amplamente utilizado para interpretar modelos em áreas como visão computacional e processamento de linguagem natural.
A ideia central é medir como a saída do modelo muda conforme uma entrada é interpolada de uma linha de base neutra (como um vetor zero ou uma imagem totalmente preta) até a entrada real. Ao acumular os gradientes da saída em relação à entrada ao longo desse caminho em linha reta, o Integrated Gradients fornece uma pontuação de atribuição única e consistente por característica. Essa abordagem se distingue de métodos baseados em gradiente mais simples, que podem sofrer de problemas de saturação, onde os gradientes se tornam zero para características que já estão fortemente ativas.
Fundamentos Axiomáticos
O Integrated Gradients foi projetado para satisfazer dois axiomas-chave considerados desejáveis para qualquer método de atribuição. O primeiro é a Sensibilidade, que afirma que, se uma característica difere entre a linha de base e a entrada, e alterar essa característica sozinha muda a saída do modelo, então essa característica deve receber uma atribuição não nula. O segundo é a Invariância de Implementação, que exige que dois modelos funcionalmente equivalentes (ou seja, modelos que produzem saídas idênticas para todas as entradas, mesmo que seus cálculos internos difiram) produzam atribuições idênticas. Essa propriedade é importante porque muitas arquiteturas de redes neurais podem ser implementadas de várias maneiras, e os usuários desejam explicações vinculadas ao comportamento do modelo, em vez de seu código específico.
Um terceiro axioma, a Completude, também é satisfeito: a soma de todas as atribuições é igual à diferença entre a saída do modelo na entrada e sua saída na linha de base. Isso fornece uma verificação de sanidade útil e torna as atribuições diretamente interpretáveis como contribuições para a mudança na saída.
Definição Matemática
Para um modelo \(f\) (tipicamente uma rede neural) com entrada \(x \in \mathbb{R}^n\) e uma linha de base \(x'\), o Gradiente Integrado para a \(i\)-ésima característica é definido como:
\[ IG_i(x) = (x_i - x'_i) \times \int_{\alpha=0}^{1} \frac{\partial f(x' + \alpha(x - x'))}{\partial x_i} \, d\alpha \]
Na prática, a integral é aproximada por uma soma discreta sobre \(m\) pontos igualmente espaçados ao longo do caminho, tipicamente usando \(m\) entre 20 e 300. A escolha da linha de base é crucial; linhas de base comuns incluem o vetor zero, a média de um conjunto de dados de treinamento ou uma versão desfocada da entrada. Para modelos de texto, uma linha de base pode ser um vetor de incorporação todo zero.
Comparação com Outros Métodos de Atribuição
Antes do Integrated Gradients, técnicas de atribuição comuns incluíam a saturação do gradiente (o gradiente bruto na entrada) e métodos baseados em oclusão (perturbando partes da entrada e medindo mudanças na saída). Gradientes brutos frequentemente falham porque podem estar próximos de zero para características importantes, mas que já estão em uma região saturada de uma função de ativação como sigmoide ou tangente hiperbólica. Métodos de oclusão são computacionalmente caros e podem ser sensíveis à escolha da perturbação. O Integrated Gradients aborda o problema de saturação acumulando gradientes ao longo de todo o caminho, e é computacionalmente eficiente porque requer apenas algumas passagens para frente e para trás, semelhante à retropropagação padrão.
Outro método popular, o SHAP (SHapley Additive exPlanations), é baseado em teoria dos jogos e fornece um conjunto diferente de garantias teóricas, mas pode ser mais caro para calcular exatamente. O Integrated Gradients é frequentemente preferido por sua simplicidade e velocidade, especialmente para modelos grandes.
Aplicações em Processamento de Linguagem Natural
Em tarefas de processamento de linguagem natural, o Integrated Gradients é frequentemente usado para explicar as previsões de modelos baseados em transformadores, incluindo grandes modelos de linguagem. Por exemplo, dado um modelo de classificação de sentimentos, o método pode destacar quais palavras em uma frase mais fortemente empurram a previsão para positiva ou negativa. Isso é feito tratando a incorporação de cada token como uma característica e calculando atribuições sobre as dimensões da incorporação, depois agregando-as por token.
Pesquisadores usaram o Integrated Gradients para depurar modelos, identificar correlações espúrias e verificar se os modelos estão prestando atenção a informações relevantes. Por exemplo, em sistemas de perguntas e respostas, as atribuições podem revelar se um modelo depende da parte correta de uma passagem ou de pistas não relacionadas. O método também foi aplicado a modelos sequência a sequência para tarefas como tradução automática, onde pode mostrar quais palavras de origem influenciam cada palavra de destino gerada.
Aplicações em Visão Computacional
Em visão computacional, o Integrated Gradients produz mapas de saliência que destacam os pixels ou regiões da imagem mais responsáveis pela decisão de classificação de um modelo. Para um modelo treinado no ImageNet, o mapa de atribuição para uma imagem de um cachorro pode destacar o rosto e o corpo do cachorro, ignorando o fundo. Esses mapas são frequentemente visualizados como mapas de calor sobrepostos à imagem original.
O método tem sido usado para analisar arquiteturas de rede residual e outros modelos profundos, ajudando pesquisadores a entender como as características são combinadas entre camadas. Também é uma ferramenta comum em imagens médicas, onde a interpretabilidade é crítica; por exemplo, as atribuições podem mostrar quais partes de um exame de radiologia influenciaram um diagnóstico, auxiliando clínicos a verificar decisões do modelo.
Extensões e Variantes
Várias extensões ao Integrated Gradients original foram propostas. O Integrated Gradients Esperado calcula a média sobre múltiplas linhas de base amostradas de uma distribuição, o que pode reduzir a sensibilidade à escolha da linha de base. Os Hessianos Integrados estendem a ideia para derivadas de segunda ordem, fornecendo informações sobre interações entre características. Outra variante, o DeepLIFT, é um método relacionado que usa uma regra de retropropagação diferente, mas compartilha o objetivo de satisfazer o axioma de sensibilidade.
Para modelos com entradas discretas, como tokens de texto, os profissionais frequentemente calculam atribuições na camada de incorporação e depois agregam entre dimensões. Alguns trabalhos também adaptaram o Integrated Gradients para lidar com dados estruturados, como grafos, onde o caminho é definido sobre características de nós ou arestas.
Considerações Práticas
Escolher o número de passos \(m\) envolve um trade-off entre precisão e computação. Poucos passos podem levar a aproximações ruidosas, enquanto muitos aumentam o tempo de execução. Um padrão comum é \(m = 50\) ou \(m = 100\). A escolha da linha de base também é importante; para imagens, uma imagem preta (todos os zeros) é padrão, mas para modelos treinados com entradas normalizadas, o valor médio do pixel pode ser mais apropriado. Para texto, usar um vetor de incorporação zero é típico, embora alguns estudos sugiram usar um token especial, como a incorporação do token de preenchimento.
As atribuições podem ser negativas, indicando que uma característica empurra a previsão para longe da classe alvo. É comum tomar o valor absoluto ou visualizar contribuições positivas e negativas separadamente. O axioma de completude garante que a soma das atribuições seja igual à diferença na saída, o que pode ser usado para verificar a implementação.
Limitações e Críticas
Apesar de sua popularidade, o Integrated Gradients tem limitações. A escolha da linha de base pode afetar significativamente os resultados, e não há uma regra universalmente aceita para selecioná-la. O método assume um caminho em linha reta, que pode não refletir a verdadeira fronteira de decisão do modelo. Alguns estudos mostraram que as atribuições podem ser sensíveis a pequenas perturbações na entrada, levantando questões sobre robustez. Além disso, para modelos muito profundos, a aproximação integral pode exigir muitos passos para convergir, aumentando o custo computacional.
Outra crítica é que as atribuições são locais e não fornecem uma compreensão global do comportamento do modelo. Elas explicam uma única previsão, mas não a lógica geral do modelo. Pesquisadores propuseram combinar o Integrated Gradients com outras técnicas, como poda de modelo ou aumento de dados, para obter insights mais profundos.
Relação com Outras Ferramentas de Explicabilidade
O Integrated Gradients faz parte de um ecossistema mais amplo de métodos de explicabilidade. Ele está implementado em várias bibliotecas populares, incluindo a biblioteca Captum para PyTorch e o kit de ferramentas AI Explainability 360. Essas bibliotecas fornecem APIs para calcular atribuições em várias arquiteturas de modelo, tornando o método acessível aos profissionais. O método também é usado em pesquisas sobre segurança e justiça em inteligência artificial, onde entender decisões de modelos é crucial para auditoria e regulamentação.
No contexto de IA generativa, o Integrated Gradients foi aplicado para explicar as saídas de modelos como difusão estável e modelos estilo GPT, embora o espaço de saída de alta dimensão apresente desafios. Para grandes modelos de linguagem, as atribuições podem ser calculadas sobre o vocabulário ou sobre incorporações de tokens, ajudando a identificar quais partes do prompt impulsionam uma resposta específica.
Direções Futuras
À medida que os modelos crescem em tamanho e complexidade, a necessidade de métodos de atribuição eficientes e confiáveis aumenta. O Integrated Gradients permanece uma técnica fundamental, mas pesquisas em andamento visam melhorar sua eficiência computacional, reduzir a sensibilidade a hiperparâmetros e estendê-lo a novos tipos de modelo. Há também interesse em desenvolver métodos que forneçam explicações causais em vez de meras correlações, o que exigiria integrar atribuição com abordagens baseadas em intervenção.
No geral, o Integrated Gradients se tornou uma ferramenta padrão no kit de ferramentas de interpretabilidade de aprendizado de máquina, valorizado por suas garantias teóricas e facilidade prática de uso. Sua adoção na academia e na indústria reflete uma tendência mais ampla em direção à transparência em sistemas de IA, impulsionada tanto por considerações éticas quanto por requisitos regulatórios.