IA explicável, comumente abreviada como XAI, é o subcampo da inteligência artificial preocupado em tornar os mecanismos internos ou as saídas de um modelo compreensíveis para usuários humanos. A necessidade de explicabilidade cresceu junto com a transição de modelos simples e inerentemente interpretáveis, como regressão linear e árvores de decisão, para arquiteturas complexas de rede neural, cujas previsões surgem de milhões ou bilhões de parâmetros aprendidos que interagem de maneiras não diretamente rastreáveis por um leitor humano, uma limitação amplamente referida como o problema da caixa-preta. Os métodos de XAI visam preencher essa lacuna produzindo explicações, seja embutidas no design de um modelo ou geradas posteriormente, sem necessariamente exigir uma descrição mecanicista completa do cálculo interno do modelo.
Motivações
A demanda por explicabilidade vem de várias direções. Reguladores em setores como crédito, saúde e justiça criminal exigem cada vez mais que decisões automatizadas que afetam indivíduos sejam explicáveis, um princípio ecoado no Regulamento Geral de Proteção de Dados da UE e no ato de IA da UE. Desenvolvedores usam explicações para depurar modelos e capturar correlações espúrias, como um modelo que aprende a reconhecer um animal a partir do terreno de fundo, e não do próprio animal. Explicações também apoiam esforços para detectar e corrigir viés algorítmico e para construir confiança do usuário em sistemas usados para decisões consequentes.
Técnicas
Os métodos de XAI são comumente divididos em duas famílias. Modelos intrinsecamente interpretáveis, como árvores de decisão, listas de regras e modelos lineares, são transparentes por construção, mas tendem a ser menos precisos em tarefas complexas do que o aprendizado profundo. Os métodos post-hoc, por outro lado, tratam um modelo treinado como fixo e tentam explicar previsões individuais ou o comportamento geral ao redor dele. Técnicas post-hoc amplamente usadas incluem mapas de saliência, que destacam as regiões de entrada, como pixels em uma imagem, que mais influenciaram a saída de uma rede neural convolucional; LIME (Explicações Locais Interpretáveis Independentes de Modelo, na sigla em inglês), que aproxima o comportamento local de um modelo complexo com um modelo substituto mais simples; e SHAP (exPlanations Aditivas de Shapley, na sigla em inglês), que usa uma estrutura teórica de jogos emprestada da teoria dos jogos cooperativos para atribuir uma previsão aos seus recursos de entrada contribuintes de uma forma que satisfaz certas propriedades de justiça. Esses métodos são independentes de modelo no sentido de que podem ser aplicados a muitos tipos de sistemas de aprendizado de máquina sem acesso a pesos internos.
Limites e relação com a interpretabilidade
Os métodos de explicação post-hoc foram criticados por às vezes produzir descrições plausíveis, mas infiéis, do raciocínio real de um modelo, uma vez que aproximam, em vez de expor diretamente, o cálculo envolvido. Essa limitação impulsionou uma direção de pesquisa paralela e mais ambiciosa conhecida como interpretabilidade mecanicista, que busca fazer engenharia reversa dos circuitos e características reais que uma rede aprendeu, em vez de aproximar seu comportamento de fora; os dois campos estão intimamente relacionados, mas buscam padrões de evidência diferentes. Os métodos de XAI projetados para visão computacional clássica e modelos tabulares provaram ser mais difíceis de adaptar a sistemas de modelo de linguagem de grande porte, cujas saídas são texto de forma livre em vez de um conjunto fixo de classes, o que deslocou grande parte da pesquisa de ponta em explicabilidade para a análise de circuitos no estilo da interpretabilidade e para simplesmente pedir aos modelos que produzam um raciocínio em cadeia como uma explicação substituta, embora uma que nem sempre reflita fielmente o cálculo subjacente.