Âncoras são uma técnica em aprendizado de máquina para gerar explicações locais de previsões de modelos. Foram introduzidas em 2018 por pesquisadores da Universidade de Washington, liderados por Marco Tulio Ribeiro, como sucessoras do método anterior LIME (Explicações Locais Interpretáveis Independentes de Modelo). Âncoras fornecem explicações na forma de condições simples, baseadas em regras, que são suficientes para que uma determinada previsão se mantenha, independentemente de mudanças em outros atributos. Diferentemente do LIME, que aproxima um modelo localmente com um modelo linear, as âncoras visam criar regras precisas e de alta exatidão que delineiam claramente quando uma previsão é garantida ou altamente provável.
A ideia central por trás das âncoras é responder à pergunta: "Qual conjunto mínimo de valores de atributos, se presente, é suficiente para fazer o modelo produzir a mesma saída?" Por exemplo, em um classificador de spam, uma âncora poderia ser "se o e-mail contém a palavra 'loteria' e o remetente não está na lista de contatos, então a previsão é spam", com uma exatidão declarada de 0,95. Essa regra é considerada uma âncora porque "ancora" a previsão: enquanto as condições forem satisfeitas, a previsão permanece estável, mesmo que outros atributos variem. A técnica é independente de modelo, o que significa que pode ser aplicada a qualquer modelo de caixa-preta, incluindo redes neurais, sistemas de aprendizado profundo e modelos de linguagem de grande escala, sem necessidade de acesso a parâmetros internos.
Definição Formal e Exatidão
Formalmente, uma âncora é uma regra que consiste em um conjunto de pares atributo-valor. Dada uma instância x a ser explicada, uma âncora A é um conjunto de predicados que se aplicam a x. A regra é considerada uma âncora se satisfaz duas propriedades: cobertura e exatidão. Cobertura refere-se à proporção de instâncias na vizinhança local que satisfazem a regra, enquanto exatidão é a probabilidade de que a previsão do modelo para instâncias que satisfazem a regra corresponda à previsão para x. O objetivo é encontrar uma regra com alta exatidão (tipicamente acima de um limiar definido pelo usuário, como 0,95) e a maior cobertura possível, para garantir que a explicação seja tanto precisa quanto amplamente aplicável.
Para estimar a exatidão sem enumerar todas as perturbações possíveis, as âncoras usam um algoritmo de bandidos multi-armados. O algoritmo amostra perturbações da instância original, onde instâncias perturbadas são geradas substituindo valores de atributos por valores de uma distribuição (frequentemente baseada nos dados de treinamento ou em um conjunto de dados de fundo). A abordagem de bandidos explora eficientemente o espaço de regras possíveis, focando naquelas que provavelmente têm alta exatidão. A âncora final é a regra que maximiza a cobertura sujeita à restrição de exatidão, com garantias estatísticas baseadas no número de amostras.
Comparação com o LIME
As âncoras foram desenvolvidas como resposta às limitações do LIME, que também foi introduzido por Ribeiro e colegas em 2016. O LIME explica previsões ajustando um modelo linear esparso na vizinhança da instância, mas a aproximação linear pode ser enganosa para fronteiras de decisão altamente não lineares. Por exemplo, uma aproximação linear pode sugerir que um atributo tem um efeito positivo ou negativo, mas, na realidade, o efeito pode ser condicional a outros atributos. As âncoras evitam isso fornecendo regras explícitas do tipo se-então que são suficientes, tornando-as mais intuitivas para usuários humanos. Além disso, as explicações do LIME não são garantidamente fiéis ao comportamento do modelo, enquanto as âncoras fornecem uma medida de exatidão que quantifica a fidelidade.
Outra diferença chave é que o LIME gera explicações que são locais e podem variar com o núcleo de perturbação, enquanto as âncoras visam ser mais estáveis e interpretáveis. As âncoras também são projetadas para serem mais acionáveis: uma regra como "se atributo A e atributo B, então previsão C" pode ser diretamente usada para entender e potencialmente intervir no sistema.
Algoritmo e Implementação
O algoritmo de âncoras funciona em duas fases principais: geração de candidatos e validação. Na primeira fase, ele gera regras candidatas considerando combinações de valores de atributos da instância. Para atributos contínuos, ele os discretiza em intervalos (por exemplo, usando quantis) para criar predicados. O algoritmo usa uma busca em feixe para explorar o espaço de regras, começando com os valores de atributos mais frequentes e expandindo. Na fase de validação, cada regra candidata é testada amostrando perturbações e calculando a exatidão empírica. O algoritmo de bandidos (especificamente, o algoritmo KL-LUCB) é usado para alocar amostras eficientemente, parando quando a estimativa de exatidão é suficientemente confiável.
A implementação, disponível na biblioteca de código aberto anchor (parte da biblioteca interpret da Microsoft), suporta dados tabulares, texto e imagens. Para texto, as âncoras podem ser baseadas na presença ou ausência de palavras (por exemplo, "se a frase 'não é ruim' aparece, então o sentimento é positivo"). Para imagens, as âncoras usam superpixels (segmentos da imagem) como atributos, e a regra pode ser "se estes pixels estão presentes, então a imagem é classificada como um cachorro". A biblioteca também fornece ferramentas de visualização para exibir âncoras em um formato legível por humanos.
Aplicações na Prática
As âncoras foram aplicadas em vários domínios onde a interpretabilidade do modelo é crítica. Na saúde, as âncoras podem explicar por que um modelo prevê que um paciente tem uma certa doença, com base em atributos como idade, pressão arterial e resultados de exames. Por exemplo, uma âncora poderia ser "se idade > 60 e pressão arterial sistólica > 140, então alto risco de doença cardíaca". Isso ajuda os clínicos a confiar e validar as decisões do modelo. Em finanças, as âncoras podem explicar decisões de aprovação de crédito, garantindo conformidade com regulamentações que exigem explicações para ações adversas. Na detecção de fraudes, as âncoras podem destacar a combinação de atributos de transação que acionam um alerta de fraude.
No contexto de IA generativa e modelos de linguagem de grande escala, as âncoras foram usadas para explicar por que um modelo gera uma resposta específica. Por exemplo, uma âncora para um classificador de sentimento poderia ser "se o texto contém 'amor' e 'incrível', então o sentimento é positivo". No entanto, para LLMs, o espaço de atributos é mais complexo, e as âncoras frequentemente dependem de atributos em nível de token. Pesquisadores também exploraram o uso de âncoras para depurar modelos, identificando correlações espúrias que levam a previsões incorretas.
Limitações e Desafios
Apesar de suas vantagens, as âncoras têm várias limitações. Primeiro, elas são tão boas quanto a distribuição de perturbação usada para gerar instâncias contrafactuais. Se a distribuição não refletir variações realistas, as estimativas de exatidão podem ser enganosas. Segundo, as âncoras podem ser computacionalmente caras, especialmente para dados de alta dimensionalidade, pois o espaço de busca cresce exponencialmente. Terceiro, para atributos contínuos, a discretização pode levar a regras muito grosseiras ou muito finas, afetando a interpretabilidade. Quarto, as âncoras fornecem condições suficientes, mas não necessárias, então podem não explicar completamente por que uma previsão foi feita; pode haver múltiplas âncoras para a mesma previsão, e o algoritmo encontra apenas uma.
Outro desafio é que as âncoras assumem independência de atributos no processo de perturbação, o que pode não se manter em dados reais. Por exemplo, em texto, a presença de certas palavras é frequentemente correlacionada, mas a perturbação pode tratá-las independentemente, levando a amostras não realistas. Pesquisadores propuseram extensões para lidar com dependências, mas estas ainda não são padrão.
Extensões e Trabalhos Relacionados
Desde a introdução das âncoras, várias extensões foram propostas. Uma extensão notável é o uso de regras de decisão para explicações globais, como na biblioteca SkopeRules, que extrai regras de conjuntos de árvores. Outra é a integração de âncoras com explicações contrafactuais, onde o objetivo é encontrar mudanças mínimas para inverter a previsão. As âncoras também estão relacionadas ao conceito de "razões suficientes" em explicabilidade formal, que visa calcular subconjuntos mínimos de atributos que garantem uma previsão. Nessa linha de trabalho, algoritmos foram desenvolvidos para calcular âncoras exatas para modelos como árvores de decisão e redes neurais, usando técnicas de verificação formal.
No campo mais amplo da IA explicável (XAI), as âncoras se situam ao lado de outros métodos de explicação local, como SHAP (Explicações Aditivas de Shapley), que fornece atribuições de atributos baseadas em teoria dos jogos. Enquanto o SHAP dá uma visão global da importância dos atributos, as âncoras fornecem uma explicação mais direta baseada em regras. Alguns estudos compararam os dois, descobrindo que as âncoras são frequentemente mais intuitivas para não especialistas, enquanto o SHAP é mais abrangente.
Impacto e Direções Futuras
A introdução das âncoras influenciou o desenvolvimento de ferramentas de interpretabilidade na indústria. Principais provedores de nuvem, incluindo Amazon Web Services, Azure e Google Cloud, incorporaram métodos de explicação baseados em regras em suas plataformas de aprendizado de máquina, permitindo que usuários gerem âncoras para modelos implantados em sua infraestrutura. Por exemplo, o AWS SageMaker Clarify inclui um recurso para gerar explicações semelhantes a âncoras, e o Azure Machine Learning oferece componentes de interpretabilidade que incluem explicações baseadas em regras.
Direções futuras de pesquisa incluem melhorar a escalabilidade das âncoras para dados de alta dimensionalidade, desenvolver métodos para lidar com dependências de atributos e integrar âncoras com ferramentas interativas que permitam aos usuários explorar regras alternativas. Além disso, à medida que os modelos de aprendizado profundo se tornam mais complexos, há uma necessidade crescente de explicações que sejam tanto fiéis quanto compreensíveis, e as âncoras estão bem posicionadas para atender a essa necessidade, particularmente quando combinadas com outras técnicas como poda de modelos e aumento de dados para melhorar a simplicidade do modelo.
Em resumo, as âncoras representam um avanço significativo na interpretabilidade local, oferecendo um equilíbrio entre fidelidade e compreensão humana. Ao fornecer condições suficientes para previsões, elas permitem que as partes interessadas entendam e confiem em sistemas de IA, o que é essencial para a implantação responsável em domínios de alto risco.