Layer-wise Relevance Propagation (LRP) é uma técnica em aprendizado de máquina e aprendizagem profunda para explicar as previsões de uma rede neural. Ela opera propagando a saída da previsão de um modelo para trás através da rede, camada por camada, para calcular uma pontuação de relevância para cada característica de entrada. Essas pontuações indicam a contribuição de cada característica para a decisão final, tipicamente visualizadas como um mapa de calor sobre a entrada. A LRP é fundamentada no princípio da conservação, onde a relevância total em cada camada é preservada à medida que é redistribuída para a camada anterior, garantindo que a soma das pontuações de relevância seja igual à saída do modelo (menos um termo de viés). Isso torna a LRP uma abordagem fundamentada e matematicamente rigorosa para a interpretabilidade de modelos, distinta de métodos baseados em perturbação que alteram entradas para observar mudanças na saída.
Desenvolvida em meados da década de 2010 por pesquisadores incluindo Sebastian Bach, Alexander Binder, Grégoire Montavon, Klaus-Robert Müller e Wojciech Samek, a LRP surgiu do campo mais amplo de IA explicável (XAI). O artigo fundamental, "On Pixel-Wise Explanations for Non-Linear Classifier Decisions by Layer-Wise Relevance Propagation," foi publicado em 2015. Desde então, a LRP tornou-se uma ferramenta padrão para interpretar modelos complexos, particularmente em visão computacional e processamento de linguagem natural. É frequentemente usada para verificar que os modelos se concentram em características relevantes, para identificar vieses e para depurar comportamentos inesperados. A LRP tem sido aplicada em domínios que variam de imagem médica a direção autônoma e foi estendida para lidar com várias arquiteturas de rede, incluindo modelos baseados em transformadores.
Princípios Centrais
A ideia central da LRP é redistribuir a saída da previsão f(x) de volta através da rede usando regras de redistribuição locais. Para cada neurônio i em uma camada, sua relevância R_i é calculada a partir das relevâncias dos neurônios j na camada subsequente, com base nas conexões ponderadas entre eles. A regra mais básica, conhecida como regra LRP-0, distribui a relevância proporcionalmente à contribuição de cada neurônio para a ativação da próxima camada. Formalmente, para um neurônio j com ativação a_j e peso w_{ij} conectando o neurônio i a j, a relevância de j para i é dada por R_{i \leftarrow j} = (a_i w_{ij} / \sum_{i'} a_{i'} w_{i'j}) R_j. Essa regra garante que a soma das relevâncias em cada camada seja igual à soma na próxima camada, satisfazendo a propriedade de conservação.
No entanto, a regra LRP-0 pode ser instável quando o denominador está perto de zero. Para resolver isso, várias variantes foram propostas. A regra LRP-epsilon adiciona uma pequena constante positiva epsilon ao denominador para estabilizar o cálculo. A regra LRP-phi amplifica contribuições positivas por ponderá-las mais fortemente, o que pode melhorar a qualidade das explicações de certos modelos. A regra LRP-alpha-beta permite uma combinação ponderada de contribuições positivas e negativas, controlada por parâmetros alpha e beta, com a restrição de que alpha + beta = 1. Essas variantes oferecem flexibilidade para adaptar as explicações a aplicações e tipos de modelo específicos.
Relação com a Retropropagação
A LRP compartilha uma semelhança conceitual com a retropropagação, o algoritmo usado para treinar redes neurais via clipping de gradiente e Stochastic Gradient Descent VariantsE variantes de SGD. Ambas envolvem uma passagem de trás para frente pela rede. No entanto, seus propósitos diferem fundamentalmente. A retropropagação calcula gradientes de uma função de perda em relação aos pesos da rede para atualizá-los durante o treinamento. A LRP, em contraste calcula pontuações de relevância para as características de entrada em relação a uma previsão específica, sem modificar a rede. Embora os gradientes possam ser usados para atribuição (por exemplo, mapas de saliência), eles sofrem de problemas como saturação do gradiente e ruído. A LRP é projetada para produzir explicações mais coerentes e mais facilmente interpretáveis por humanos, de forma menos-quando da conservação é um esforço constante.
Aplicações em Visão Computacional
Em visão computacional, a LRP é frequentemente aplicada a redes neurais convolucionais (CNNs) para gerar mapas de calor que destacam quais pixels em uma imagem influenciam mais fortemente uma decisão de classificação. Por exemplo, em imagens médicas, a LRP tem sido usada para explicar previsões de modelos que detectam doenças a partir de radiografias ou ressonâncias magnéticas, ajudando radiologistas a confiar e verificar o foco do modelo. Na condução autônoma, a LRP pode destacar as regiões de uma cena de estrada que um modelo usa para tomar decisões. A técnica também é usada para identificar correlações espúrias, como quando um modelo depende de marcas d'água ou objetos em destaque para prever algo, em vez do objeto em si.
Aplicações em Processamento de Linguagem Natural
Com o aumento dos modelos de linguagem grande e arquiteturas vasadas em transformadores, a LRP foi adaptada para explicar tarefas de classificação e geração de texto. Em NLP, a relevância é propagada através das camadas de atendimento e das redes feedforward para atribuir pontuações de importância a tokens ou palavras individuais em uma frase. Isso ajuda a entender por que um modelo fez uma determinada previsão, como classificação de sentimento ou de tópicos. Por exemplo, a LRP pode revelar que um modelo de sentimento pode confiar muito em palavras como "não" ou "excelente" enquanto ignora palavras neutras. Extensões da LRP também foram desenvolvidas para lidar com a estrutura específica dos transformadores, incluindo a propagação pelos mecanismos de atenção multi-head e as conexões residuais.
Variantes e Extensões
Além das regras básicas, outras extensões da LRP foram propostas para tratar diferentes cenários. The Deep Taylor Decomposition (DTD) provides a theoretical basis that unifies the LRP with Taylor expansions, oferecendo uma forma de calcular regras de redistribuição para diferentes não-linearidades complexas. A LRP também é combinada com outras como métodos de interpretabilidade, como Model Pruning e Data Augmentation, para aumentar a robustez e explicabilidade. Para dados de série temporal, a LRP também pode ser aplicada a redes neurais recorrentes (RNNs) e redes de longa memória de curto (LSTM), embora as regras de propagação precisem ser adaptadas para lidar com as conexões recorrentes. Além disso, a é usada em combinação com mecanismos de atenção para fornecer explicações mais granulares.
Comparação com Outros Métodos de Explicabilidade
A LRP é uma das várias técnicas para explicar previsões de redes neurais. Outros métodos populares incluem SHAP (SHapley Additive exPlanations, LIME (Local Interpretable Model-agnostic Explanations) e gradientes integrados. O SHAP baseia na teoria dos jogos cooperativos e fornece um framework unificado para atribuição de características, mas pode ser computacionalmente caro. O LIME aborda o modelo localmente com um modelo substituto interpretável, mas as explicações podem ser instá lado. Os gradientes integrados, como a LRP, também são um método baseado em backpropagation, mas dependem de integrar gradientes ao longo de um caminho de um etalone até a entrada. A LRP é muitas vezes preferida por sua eficiência computacional e a capacidade de produzir explicações moderadas e localizadas sem necessidade de se realizar múltiplas avaliações do modelo. A escolha do método depende do caso de uso específico, da arquitetura do modelo e das características desejadas da explicação.
Limitações e Desafios
Apesar de seus pontos fortes, a LRP tem limitações. A qualidade das explicações depende da escolha das regras de redistribuição e sua combinação de hiperparâmetros, que pode ter que ser ajustada para cada modelo. Quando a LRP pode se tornar ruidosa ou até mesmo contra-intuitiva em redes muito profundas ou com não-linearidades complexas. A propriedade de conservação, mesmo que seja teoricamente atrativa, pode não ser sempre exata na prática devido a problemas numéricos. Além disso, a LRP é principalmente projetada para modelos diferenciáveis; não é óvel em modelos não diferenciáveis ou com componentes discretos, o que demanda adaptações adicionais. Além disso, há um debate em andamento sobre a fidelidade da LRP, já que diferentes regras podem produzir atribuições diferentes para a mesma previsão.
Software e Implementação
Vários pacotes de código aberto implementam a LRP para torná-la acessível a praticantes. A biblioteca innvestigate, desenvolvida na Universidade de Tübingen, fornece uma interface unificada para diversos métodos de atribuição, incluindo a LRP, e suporta frameworks populares de deep learning como TensorFlow e Keras. A biblioteca zennit oferece uma implementação mais flexível e composível, permitindo que usuarias definam regras de propagação personalizadas. Para usuários de PyTorch, torchray e outros pacotes incluem implementações do LRP. Essas ferramentas têm facilitado a adoção da LRP em pesquisa e na indústria, permitindo gerar explicações com pouco esforço de programação.
Direções Futuras
A pesquisa sobre LRP continua a evoluir, com esforços para, a base teórica de, para novas arquiteturas e integrá-la com modelos de desenvolvimento. Quando IA generativa e modelos de linguagem grande estão cada vez mais populares, é possível que as LRP se adaptem para lidar com a escala e complexidade desses modelos. A principal é o de, além de simples atribuições de, a LRP está uma combinação com inferência de causação e raciocínio contrafatual para explorar formas de atuação no que está ativo. O objetivo é avançar além da simples atribuição de características e rumo a explicações mais compreensíveis e utilizáveis para o modelo no intuito de entender e corrigir erros.