Uma matriz de confusão, também conhecida como matriz de erro, é um layout de tabela específico que permite visualizar o desempenho de uma pessoa ou de um algoritmo em uma tarefa específica. Em aprendizado de máquina, essas matrizes mostram o sucesso de um sistema de aprendizado tanto em aprendizado supervisionado quanto não supervisionado, onde às vezes são chamadas de matriz de correspondência. O nome deriva do fato de que a matriz facilita a identificação de se o sistema está confundindo duas classes, ou seja, rotulando erroneamente uma classe como outra.
A matriz de confusão tem suas origens em estudos de percepção humana de estímulos auditivos. Foi posteriormente adaptada para estudos de aprendizado de máquina e usada por pesquisadores pioneiros como Frank Rosenblatt para comparar classificações humanas e de máquinas de estímulos visuais e auditivos. É um tipo especial de tabela de contingência com duas dimensões, "real" e "previsto", e conjuntos idênticos de classes em ambas as dimensões. Cada linha da matriz representa instâncias em uma classe real, enquanto cada coluna representa instâncias em uma classe prevista, ou vice-versa, dependendo da convenção usada. A diagonal da matriz, portanto, representa todas as instâncias que são previstas corretamente.
Exemplo de Classificação Binária
Considere uma amostra de 12 indivíduos, 8 diagnosticados com câncer (classe 1, positivo) e 4 sem câncer (classe 0, negativo). Um classificador distingue entre indivíduos com e sem câncer. Após passar os 12 indivíduos pelo classificador, ele faz 9 previsões corretas e erra 3: 2 indivíduos com câncer são previstos erroneamente como sem câncer, e 1 pessoa sem câncer é prevista erroneamente como tendo câncer.
Comparando as classificações reais e previstas, obtêm-se quatro resultados possíveis:
- Verdadeiro positivo (VP): Real positivo e previsto positivo.
- Falso negativo (FN): Real positivo e previsto negativo.
- Falso positivo (FP): Real negativo e previsto positivo.
- Verdadeiro negativo (VN): Real negativo e previsto negativo.
Esses resultados podem ser organizados em uma matriz de confusão 2×2. Para o exemplo, a matriz mostraria:
| Previsto Positivo | Previsto Negativo | |
|---|---|---|
| Real Positivo | 6 (VP) | 2 (FN) |
| Real Negativo | 1 (FP) | 3 (VN) |
Todas as previsões corretas estão na diagonal, facilitando a identificação de erros, que aparecem fora da diagonal. Somar as linhas dá o número total de amostras positivas (P = VP + FN) e negativas (N = FP + VN) no conjunto de dados.
Tabela de Confusão
Em análise preditiva, uma tabela de confusão (às vezes também chamada de matriz de confusão) é uma tabela dois por dois que relata contagens de verdadeiros positivos, falsos negativos, falsos positivos e verdadeiros negativos. Isso permite uma análise mais detalhada do que simplesmente observar a acurácia, que pode ser enganosa se o conjunto de dados for desbalanceado. Por exemplo, com 95 amostras de câncer e 5 amostras sem câncer, um classificador que rotula tudo como câncer teria 95% de acurácia, mas 0% de sensibilidade para a classe sem câncer. Métricas como o escore F1 também podem ser tendenciosas; a informatividade remove tal viés, resultando em 0 para qualquer forma de adivinhação. De acordo com Davide Chicco e Giuseppe Jurman, a métrica mais informativa para avaliar uma matriz de confusão é o coeficiente de correlação de Matthews (MCC).
Alguns pesquisadores argumentam que a matriz de confusão e as métricas derivadas não refletem completamente o conhecimento de um modelo. A matriz não pode mostrar se previsões corretas foram alcançadas por raciocínio sólido ou por acaso (sorte epistêmica), nem captura situações em que fatos usados para previsão mudam posteriormente (derrotabilidade). Assim, embora útil, a matriz de confusão pode dar uma imagem incompleta da confiabilidade real de um modelo.
Matrizes de Confusão Multiclasse
As matrizes de confusão não se limitam à classificação binária; elas podem ser usadas em classificadores multiclasse. Para um classificador com k classes, a matriz tem k linhas e k colunas, onde cada célula (i, j) conta instâncias da classe real i previstas como classe j. A diagonal representa previsões corretas, e as células fora da diagonal mostram classificações incorretas. Esse layout ajuda a identificar quais classes são comumente confundidas entre si.
Métricas Derivadas
Várias métricas de desempenho podem ser calculadas a partir de uma matriz de confusão:
- Acurácia: (VP + VN) / (VP + VN + FP + FN)
- Precisão: VP / (VP + FP)
- Revocação (Sensibilidade): VP / (VP + FN)
- Especificidade: VN / (VN + FP)
- Escore F1: Média harmônica de precisão e revocação
- Coeficiente de correlação de Matthews (MCC): Uma medida balanceada que leva em conta todas as quatro células.
Essas métricas fornecem diferentes perspectivas sobre o desempenho do classificador, especialmente em conjuntos de dados desbalanceados.
Aplicações em Aprendizado de Máquina
As matrizes de confusão são amplamente usadas em aprendizado de máquina para avaliar classificadores, incluindo modelos de rede neural e sistemas de aprendizado profundo. Elas são essenciais em campos como diagnóstico médico, detecção de spam e reconhecimento de imagem. Por exemplo, em pesquisa de inteligência artificial, as matrizes de confusão ajudam a comparar o desempenho do modelo entre diferentes classes, orientando melhorias na arquitetura do modelo e nos dados de treinamento.
Limitações e Críticas
Apesar de sua utilidade, as matrizes de confusão têm limitações. Elas não capturam o raciocínio por trás das previsões e assumem uma verdade fundamental estática. Em ambientes dinâmicos, como aqueles que envolvem saídas de modelos de linguagem de grande escala, a matriz pode não refletir a correção em evolução. Além disso, para conjuntos de dados altamente desbalanceados, a acurácia e o escore F1 podem ser enganosos, levando à dependência de métricas como MCC ou informatividade.
Contexto Histórico
O conceito de matriz de confusão originou-se em estudos de percepção humana, particularmente em audiologia, onde matrizes medem como uma pessoa ouve palavras ou sons específicos. Frank Rosenblatt, um pioneiro nas primeiras redes neurais, usou matrizes de confusão para comparar classificações humanas e de máquinas. Esse vínculo histórico ressalta o papel da matriz em unir a avaliação de desempenho humano e de máquina.
Ver Também
- aprendizado de máquina
- rede neural
- aprendizado profundo
- inteligência artificial
- aprendizado supervisionado
- aprendizado não supervisionado
- classificação
- precisão e revocação
- coeficiente de correlação de Matthews