Interpretabilidade mecanicista é um programa de pesquisa dentro de segurança de IA e aprendizado de máquina que tenta reverter a engenharia dos pesos treinados de uma rede neural em um relato compreensível por humanos dos algoritmos que ela implementa, em vez de meramente aproximar seu comportamento de fora, como fazem a maioria dos métodos de IA explicável. A abordagem trata um modelo treinado de forma semelhante à maneira como um engenheiro reverso poderia tratar código binário compilado sem fonte: ao sondar neurônios individuais, camadas e combinações de pesos, os pesquisadores tentam recuperar as características discretas e os circuitos que uma rede usa para executar uma tarefa, com o objetivo final de poder prever, verificar ou editar o comportamento de um modelo com a mesma confiança de ler seu código-fonte.
Origens
Trabalhos iniciais de interpretabilidade em visão computacional, incluindo pesquisa de visualização de características associada ao periódico online Distill, mostraram que neurônios individuais ou pequenos grupos de neurônios em classificadores de imagens, como modelos de rede neural convolucional, podiam corresponder a conceitos reconhecíveis, como curvas, texturas ou partes de objetos. Chris Olah, cofundador da Anthropic e figura de destaque no campo, ajudou a popularizar esse estilo visual e baseado em circuitos de análise antes de estendê-lo a modelos de linguagem. A ascensão da arquitetura transformador e dos sistemas de modelo de linguagem de grande porte deslocou o foco do campo para a compreensão de cabeças de atenção, fluxos residuais e as representações internas que permitem a um modelo executar tarefas como aprendizado no contexto.
Principais descobertas
Pesquisadores de interpretabilidade identificaram vários fenômenos recorrentes. Superposição descreve a descoberta de que redes neurais frequentemente representam mais características distintas do que têm neurônios, empacotando múltiplos conceitos em direções sobrepostas no espaço de ativação, o que torna neurônios individuais difíceis de interpretar isoladamente. Autoencoders esparsos, uma aplicação da técnica mais ampla de Autoencoder, foram usados para decompor essas representações sobrepostas em um conjunto muito maior de características mais monossemânticas e individualmente interpretáveis; o trabalho de 2024 da Anthropic identificando milhões dessas características em um modelo Claude em escala de produção, e o trabalho subsequente localizando e editando características comportamentalmente relevantes específicas, esteve entre os resultados mais amplamente discutidos no campo. Outras linhas de trabalho identificaram circuitos específicos responsáveis por capacidades estreitas, como um mecanismo de "cabeça de indução" que permite a modelos transformadores completar padrões repetidos, e usaram ferramentas de interpretabilidade para detectar sinais de engano ou má generalização de objetivos dentro de um modelo, em vez de depender apenas de sua saída declarada.
Motivação e o que está em jogo
Proponentes argumentam que a interpretabilidade mecanicista é uma das poucas direções de pesquisa que poderia dar aos humanos uma visão genuína sobre se um modelo altamente capaz está perseguindo os objetivos que parece perseguir, em vez de depender apenas de testes comportamentais, uma preocupação intimamente ligada aos debates sobre alinhamento e hacking de recompensa. Como a interpretabilidade visa abrir a caixa preta diretamente, em vez de explicá-la depois do fato, alguns pesquisadores a consideram um pré-requisito para implantar com confiança sistemas futuros muito mais capazes, incluindo qualquer um que se aproxime de inteligência artificial geral.
Limitações
O campo permanece longe de um relato completo de qualquer modelo de fronteira; as técnicas atuais escalam mal para o tamanho de modelos de produção, as características de autoencoders esparsos não cobrem de forma limpa todo o comportamento de uma rede, e não há um método acordado para verificar se uma explicação baseada em interpretabilidade é completa em vez de meramente plausível. Pesquisadores geralmente descrevem a interpretabilidade mecanicista como uma ciência em estágio inicial, comparável em ambição, embora ainda não em maturidade, à tentativa da neurociência de mapear cérebros biológicos.