Modelos de Gargalo de Conceito (CBMs, na sigla em inglês) são uma classe de arquiteturas de rede neural projetadas para melhorar a interpretabilidade ao inserir uma camada de gargalo de conceitos compreensíveis por humanos entre a entrada e a previsão final. Em vez de mapear dados brutos diretamente para uma saída, um CBM primeiro prevê um conjunto de conceitos predefinidos (por exemplo, 'tem asas', 'é vermelho') e então usa essas previsões de conceitos para tomar a decisão final. Esse design permite que os usuários inspecionem quais conceitos influenciaram uma previsão e intervenham corrigindo os valores dos conceitos, tornando o modelo mais transparente e depurável do que modelos de caixa-preta padrão.
A estrutura foi formalizada em um artigo de 2020 por Pang Wei Koh, Thao Nguyen, Yew Siang Tang, Stephen Mussmann, Brandon Ying e Percy Liang, apresentado na 34ª Conferência sobre Sistemas de Processamento de Informação Neural (NeurIPS 2020). Os autores demonstraram que os CBMs poderiam alcançar precisão competitiva em tarefas de classificação de imagens, ao mesmo tempo em que ofereciam benefícios de interpretabilidade. Eles também introduziram variantes, como o CBM 'intervenível', onde um usuário pode substituir conceitos previstos para ver como a previsão final muda, e o CBM 'conjunto', que treina preditores de conceitos e finais simultaneamente.
Arquitetura e Design
Um CBM padrão consiste em três componentes: um extrator de características (frequentemente um ResNet pré-treinado ou um backbone similar de aprendizado profundo), um preditor de conceitos que mapeia características para probabilidades de conceitos, e um preditor final que mapeia probabilidades de conceitos para o rótulo de saída. A camada de conceitos é tipicamente um perceptron linear ou de múltiplas camadas pequeno, e o preditor final é frequentemente um modelo linear para manter a interpretabilidade.
Koh et al. exploraram três paradigmas de treinamento: independente (treinar o preditor de conceitos primeiro, congelá-lo, depois treinar o preditor final), sequencial (treinar o preditor de conceitos, depois o preditor final com rótulos de conceitos), e conjunto (treinar ambos simultaneamente com uma perda ponderada). Seus experimentos no conjunto de dados de aves CUB-200-2011 (com 312 conceitos) e no conjunto de dados de atributos SUN (com 102 atributos) mostraram que CBMs independentes tinham precisão menor do que modelos padrão, mas o treinamento conjunto fechou grande parte da lacuna. Por exemplo, no CUB, um ResNet-18 padrão alcançou cerca de 75% de precisão, enquanto um CBM conjunto alcançou cerca de 72%, e um CBM independente cerca de 66%.
Interpretabilidade e Intervenção
Uma característica chave dos CBMs é a capacidade de intervir: se o modelo prevê um conceito incorretamente (por exemplo, 'cor da asa: marrom' quando o pássaro é na verdade azul), um usuário pode corrigir esse conceito e reexecutar o preditor final. Koh et al. mostraram que mesmo uma única intervenção em um conceito previsto incorretamente poderia melhorar a precisão significativamente. No CUB, intervir em apenas um conceito por imagem aumentou a precisão de 66% para mais de 90% no modelo independente, e ganhos semelhantes foram vistos no modelo conjunto. Isso torna os CBMs úteis em domínios de alto risco onde a supervisão humana é valiosa.
O mecanismo de intervenção também permite depuração: ao inspecionar quais conceitos são frequentemente previstos incorretamente, os desenvolvedores podem identificar fraquezas no extrator de características ou nas definições de conceitos. No entanto, a qualidade das intervenções depende de o conjunto de conceitos ser abrangente e anotado com precisão, o que é uma limitação prática importante.
Extensões e Variantes
Várias extensões foram propostas desde 2020. 'Modelos de Gargalo de Conceito com Conceitos Específicos de Rótulo' (2021) por Rieger et al. permitiram que conceitos fossem compartilhados entre classes, reduzindo o fardo de anotação. 'Modelos de Gargalo de Conceito Post-hoc' (2021) por Yukara Ikami et al. e trabalhos posteriores de Wong et al. (2021) introduziram métodos para converter um modelo de caixa-preta pré-treinado em um CBM sem retreinar do zero, usando uma etapa de descoberta de conceitos. Outra linha de trabalho, 'Modelos de Incorporação de Conceitos' (2021) por Zarlenga et al., relaxou a suposição de conceitos binários usando incorporações de conceitos contínuas, melhorando a expressividade.
Em 2023, 'Modelos de Gargalo de Conceito Interativos' por Collins et al. adicionaram um mecanismo para usuários consultarem o modelo para explicações de conceitos durante a inferência, e 'Modelos de Gargalo de Conceito com Apagamento de Conceitos' (2023) por Kim et al. abordaram a questão do vazamento de conceitos, onde o preditor final pode depender de informações não capturadas pelos conceitos. Essas extensões foram avaliadas em conjuntos de dados como CUB, SUN e o conjunto de dados sintético dSprites, com trade-offs variados entre precisão e interpretabilidade.
Aplicações
CBMs foram aplicados em imagens médicas, onde a interpretabilidade é crítica. Por exemplo, um estudo de 2022 por Graziani et al. usou CBMs para classificação de lesões de pele, definindo conceitos como 'assimetria' e 'irregularidade de borda' a partir da regra ABCD, alcançando um AUC de 0,91 no conjunto de dados ISIC 2018, comparável a uma linha de base de caixa-preta (0,93), mas com a capacidade adicional de explicar previsões. Em radiologia, CBMs foram usados para diagnóstico de radiografias de tórax, com conceitos como 'cardiomegalia' e 'derrame', como demonstrado em um artigo de 2021 por Chen et al. no conjunto de dados CheXpert, onde a intervenção melhorou a precisão de 0,82 para 0,87.
Em direção autônoma, CBMs foram explorados para prever o comportamento do motorista ou a compreensão de cenas de tráfego. Um artigo de 2023 por Zhang et al. usou CBMs para detecção de pedestres com conceitos como 'atravessando' e 'olhando', alcançando 95% de precisão em um conjunto de dados personalizado, enquanto permitia correção humana de conceitos classificados incorretamente. Em finanças, CBMs foram propostos para pontuação de crédito, onde conceitos como 'estabilidade de renda' e 'índice de endividamento' são usados, embora a adoção permaneça limitada devido a desafios regulatórios e de dados.
Limitações e Desafios
A principal limitação é a necessidade de anotações de conceitos, que são caras de obter. Para conjuntos de dados em grande escala, definir um conjunto de conceitos completo e não sobreposto é difícil. CBMs também tendem a ter desempenho inferior aos modelos de caixa-preta em tarefas complexas, pois o gargalo de conceitos restringe o fluxo de informações. Por exemplo, no ImageNet, um CBM com 1000 conceitos (um por classe) alcançou apenas 55% de precisão top-1, em comparação com 76% para um ResNet-50 padrão, conforme relatado em um estudo de 2021 por trabalho de acompanhamento de Koh et al.
Outra questão é o vazamento de conceitos: o preditor final pode inadvertidamente usar correlações em probabilidades de conceitos que não são semanticamente significativas, reduzindo a interpretabilidade. Pesquisadores propuseram técnicas de regularização, como restrições de ortogonalidade em incorporações de conceitos, para mitigar isso. Além disso, CBMs assumem que os conceitos são independentes, mas conceitos do mundo real são frequentemente correlacionados (por exemplo, 'tem penas' e 'pode voar'), o que pode levar a previsões redundantes ou conflitantes.
Relação com Outros Métodos de Interpretabilidade
CBMs fazem parte de uma família mais ampla de modelos interpretáveis, incluindo árvores de decisão, sistemas baseados em regras e explicações baseadas em atenção. Ao contrário de métodos post-hoc como mapas de saliência ou LIME, que explicam um modelo de caixa-preta após o treinamento, CBMs são inerentemente interpretáveis por design. Eles estão relacionados a mecanismos de atenção em transformadores, que também fornecem alguma interpretabilidade, mas os pesos de atenção são frequentemente ruidosos e não diretamente acionáveis. CBMs também estão conectados a poda de modelos na medida em que ambos visam simplificar modelos, mas a poda reduz o tamanho enquanto os CBMs reduzem a opacidade.
Trabalhos recentes combinaram CBMs com modelos de linguagem grandes (LLMs). Por exemplo, um artigo de 2023 por Oikarinen et al. usou GPT-3 para gerar automaticamente candidatos a conceitos para um conjunto de dados, reduzindo a necessidade de anotação humana. Outro estudo de 2024 por Yang et al. usou um LLM para refinar definições de conceitos iterativamente, melhorando a precisão do CBM no CUB em 3% em relação a um conjunto de conceitos fixo. Essas abordagens híbridas são uma área ativa de pesquisa, especialmente à medida que modelos de IA generativa se tornam mais capazes.
Direções Futuras
Pesquisas futuras estão focadas em escalar CBMs para conjuntos de dados maiores e tarefas mais complexas, como compreensão de vídeo e entradas multimodais. Há também trabalho em aprender conceitos automaticamente a partir de dados, usando métodos não supervisionados ou autossupervisionados, embora esses conceitos possam não se alinhar com a semântica humana. Outra direção é integrar CBMs com aprendizado por reforço para tomada de decisão sequencial, onde a interpretabilidade poderia ajudar em robótica e jogos.
Em 2025, CBMs permanecem uma abordagem de nicho, mas influente, citada em mais de 2.000 artigos. Eles são particularmente valorizados em domínios onde requisitos regulatórios exigem explicabilidade, como saúde e finanças. No entanto, sua adoção é limitada pelo custo de anotação e pela lacuna de precisão, e resta ver se eles podem ser tornados escaláveis e competitivos o suficiente para implantação generalizada.