Explicabilidade de modelos, também conhecida como IA explicável (XAI) ou aprendizado de máquina interpretável, é o grau em que as decisões internas de um sistema de IA podem ser compreendidas por humanos. É um campo de pesquisa que explora métodos para fornecer aos humanos supervisão intelectual sobre algoritmos de IA, focando no raciocínio por trás de decisões ou previsões para torná-las mais compreensíveis e transparentes. Isso aborda a necessidade de os usuários examinarem a tomada de decisão automatizada em aplicações, combatendo a tendência de "caixa-preta" do aprendizado de máquina, onde até mesmo os projetistas podem não explicar por que uma decisão específica foi tomada.
A XAI busca ajudar os usuários de sistemas baseados em IA a desempenharem suas funções de forma mais eficaz, melhorando sua compreensão de como esses sistemas raciocinam. Pode ser uma implementação do direito social à explicação e, mesmo sem requisitos legais, pode melhorar a experiência do usuário ao ajudar os usuários finais a confiarem que a IA está tomando boas decisões. A XAI visa explicar o que foi feito, o que está sendo feito, o que será feito a seguir e em quais informações essas ações se baseiam, permitindo a confirmação e o questionamento do conhecimento existente.
Histórico
Os algoritmos de aprendizado de máquina (ML) usados em IA podem ser categorizados como caixa-branca ou caixa-preta. Modelos de caixa-branca fornecem resultados compreensíveis para especialistas do domínio, enquanto modelos de caixa-preta são extremamente difíceis de explicar e podem não ser compreendidos nem mesmo por especialistas. Os algoritmos de XAI seguem três princípios: transparência, interpretabilidade e explicabilidade.
Transparência significa que os processos que extraem parâmetros do modelo a partir dos dados de treinamento e geram rótulos a partir dos dados de teste podem ser descritos e motivados pelo projetista da abordagem. Interpretabilidade descreve a possibilidade de compreender o modelo de ML e apresentar a base subjacente para a tomada de decisão de uma forma compreensível para os humanos. A explicabilidade, embora reconhecida como importante, carece de uma definição consensual; uma possibilidade é "a coleção de características do domínio interpretável que contribuíram, para um determinado exemplo, para produzir uma decisão".
Em resumo, interpretabilidade refere-se à capacidade do usuário de compreender as saídas do modelo, enquanto a transparência do modelo inclui simulabilidade (reprodutibilidade das previsões), decomponibilidade (explicações intuitivas para os parâmetros) e transparência algorítmica (explicar como os algoritmos funcionam). A funcionalidade do modelo concentra-se em descrições textuais, visualização e explicações locais que esclarecem saídas específicas, em vez de modelos inteiros. Esses conceitos visam melhorar a compreensibilidade e a usabilidade dos sistemas de IA.
Se os algoritmos cumprem esses princípios, eles fornecem uma base para justificar decisões, rastreá-las, verificá-las, melhorar os algoritmos e explorar novos fatos. Às vezes, resultados de alta precisão são alcançáveis com algoritmos de ML de caixa-branca, que possuem estruturas interpretáveis. Os Modelos de Gargalo Conceitual, que usam abstrações em nível de conceito, são exemplos e podem ser aplicados em tarefas de previsão de imagens e texto. Isso é especialmente importante em domínios como medicina, defesa, finanças e direito, onde compreender decisões e construir confiança é crucial. Muitos pesquisadores argumentam que, para aprendizado de máquina supervisionado, a regressão simbólica - onde o algoritmo busca expressões matemáticas para encontrar o modelo de melhor ajuste - é um caminho promissor.
Os sistemas de IA otimizam o comportamento para satisfazer objetivos matematicamente especificados escolhidos pelos projetistas, como "maximizar a precisão de avaliar o quão positivas são as resenhas de filmes no conjunto de dados de teste". A IA pode aprender regras úteis como "resenhas contendo 'horrível' são provavelmente negativas", mas também regras inadequadas como "resenhas contendo 'Daniel Day-Lewis' são geralmente positivas", que podem falhar em generalizar ou ser consideradas injustas. Um humano pode auditar regras em uma XAI para avaliar a probabilidade de o sistema generalizar para dados futuros do mundo real.
Objetivos
A cooperação entre agentes - algoritmos e humanos - depende da confiança. Se os humanos devem aceitar prescrições algorítmicas, eles precisam confiar nelas. A incompletude nos critérios formais de confiança é uma barreira para a otimização. Transparência, interpretabilidade e explicabilidade são objetivos intermediários em direção a critérios de confiança mais abrangentes. Isso é particularmente relevante na medicina, especialmente com sistemas de apoio à decisão clínica (CDSS), onde os profissionais de saúde devem entender como e por que uma decisão baseada em máquina foi tomada para confiar e aprimorar sua tomada de decisão.
Os sistemas de IA às vezes aprendem truques indesejáveis que satisfazem objetivos explícitos pré-programados nos dados de treinamento, mas não os desejos implícitos e sutis dos projetistas ou a complexidade total dos dados do domínio. Por exemplo, um sistema de 2017 encarregado de reconhecimento de imagens aprendeu a "trapacear" procurando uma tag de direitos autorais associada a imagens de cavalos, em vez de aprender como identificar se um cavalo estava na imagem. Outro sistema de 2017, uma IA de aprendizado supervisionado encarregada de agarrar objetos em um mundo virtual, aprendeu a trapacear colocando seu manipulador entre o objeto e o visualizador para parecer falsamente que o agarrava.
Um projeto de transparência, o programa DARPA XAI, visa produzir modelos de "caixa de vidro" que sejam explicáveis para um "humano no circuito" sem sacrificar muito o desempenho da IA. Os usuários humanos podem entender a cognição da IA (tanto em tempo real quanto posteriormente) e determinar se devem confiar nela. Outras aplicações incluem extração de conhecimento de modelos de caixa-preta e comparação de modelos. Em sistemas de monitoramento para conformidade ética e sociológica, ferramentas de "caixa de vidro" rastreiam entradas e saídas, fornecendo explicações baseadas em valores para garantir que o sistema opere de acordo com padrões éticos e legais. O termo contrasta com sistemas de "caixa-preta", que carecem de transparência e são mais difíceis de monitorar e regular.
Técnicas
As técnicas de explicabilidade podem ser específicas do modelo ou agnósticas ao modelo. Métodos específicos do modelo são adaptados a algoritmos particulares, como arquiteturas de Neural network, enquanto métodos agnósticos ao modelo funcionam com qualquer modelo, analisando entradas e saídas.
Explicações locais agnósticas ao modelo interpretável (LIME) aproximam um modelo de caixa-preta localmente com um modelo substituto interpretável para explicar previsões individuais. SHAP (SHapley Additive exPlanations) usa valores de Shapley da teoria dos jogos para atribuir pontuações de importância a características para cada previsão. Esses são amplamente usados para dados tabulares, imagens e texto.
Para modelos de Deep learning, mapas de saliência destacam regiões de entrada que mais influenciam as previsões, frequentemente usados em visão computacional. A maximização de ativação gera entradas que maximizam as ativações de neurônios para visualizar quais características um modelo detecta. Para Large language models, os pesos de atenção em arquiteturas Transformer (architecture) podem indicar em quais tokens o modelo se concentra, embora sua interpretabilidade seja debatida.
Explicações baseadas em conceitos, como os Modelos de Gargalo Conceitual, usam conceitos compreensíveis por humanos como representações intermediárias. Esses modelos primeiro preveem conceitos (por exemplo, "tem asas") e depois os usam para tomar decisões finais, tornando o raciocínio transparente.
Desafios
Um grande desafio é o trade-off entre precisão e explicabilidade. Modelos complexos, como redes neurais profundas, frequentemente alcançam maior precisão, mas são menos interpretáveis, enquanto modelos mais simples de caixa-branca podem ser menos precisos. No entanto, alguns argumentam que alta precisão pode ser alcançada com modelos interpretáveis, e a regressão simbólica é uma solução potencial para aprendizado supervisionado.
Outro desafio é a falta de uma definição consensual de explicabilidade, dificultando a avaliação. Diferentes partes interessadas podem exigir diferentes tipos de explicações, e o que é interpretável para um usuário pode não ser para outro.
Além disso, as explicações podem ser enganosas ou incompletas. Por exemplo, mapas de saliência podem não refletir fielmente o raciocínio do modelo, e os pesos de atenção podem não representar importância causal. Garantir que as explicações sejam fiéis ao comportamento real do modelo é uma área de pesquisa em andamento.
Aplicações
A explicabilidade é crítica em domínios de alto risco. Na medicina, os sistemas de apoio à decisão clínica exigem explicações para diagnósticos e recomendações de tratamento para construir confiança entre os clínicos. Em finanças, modelos de pontuação de crédito e detecção de fraude devem ser explicáveis para conformidade regulatória e compreensão do cliente. No direito, pesquisa jurídica assistida por IA e recomendações de sentença precisam de transparência para garantir justiça e responsabilidade.
Em veículos autônomos, como os desenvolvidos por Waymo e Tesla, a explicabilidade ajuda engenheiros a depurar sistemas e reguladores a avaliar a segurança. Em sistemas de Generative AI, entender por que um modelo produz certas saídas é importante para detectar vieses e garantir uso responsável.
Direções Futuras
A pesquisa continua a melhorar os métodos de explicabilidade, incluindo o desenvolvimento de métricas de avaliação mais robustas e a criação de explicações que sejam fiéis e fáceis de usar. Há um interesse crescente em explicações causais que vão além de correlações para identificar relações de causa e efeito. À medida que os sistemas de IA se tornam mais integrados à sociedade, a explicabilidade de modelos provavelmente se tornará um requisito padrão, potencialmente exigido por regulamentações.
A colaboração entre academia e indústria, como os esforços em MIT CSAIL, Stanford AI Lab e BAIR (Berkeley AI Research), está avançando o campo. Empresas como OpenAI, Anthropic e Google DeepMind estão investindo em pesquisa de interpretabilidade para seus modelos. O objetivo final é criar sistemas de IA que não sejam apenas poderosos, mas também transparentes e confiáveis.