Precisão e recall são duas métricas de desempenho fundamentais usadas em classificação e recuperação de informação para avaliar a qualidade das previsões de um modelo. A precisão, também chamada de valor preditivo positivo, mede a fração de instâncias relevantes entre todas as instâncias recuperadas. O recall, também conhecido como sensibilidade, mede a fração de instâncias relevantes que foram recuperadas com sucesso. Ambas as métricas são baseadas no conceito de relevância, que é tipicamente definido pela tarefa específica, como identificar uma classe particular em um conjunto de dados.
Em uma tarefa de classificação, a precisão para uma determinada classe é o número de verdadeiros positivos (itens corretamente rotulados como pertencentes à classe) dividido pelo número total de itens rotulados como pertencentes a essa classe, que é a soma de verdadeiros positivos e falsos positivos. O recall é o número de verdadeiros positivos dividido pelo número total de itens que realmente pertencem à classe, que é a soma de verdadeiros positivos e falsos negativos. Essas definições estão alinhadas com as fórmulas gerais: precisão é igual a instâncias relevantes recuperadas divididas por todas as instâncias recuperadas, e recall é igual a instâncias relevantes recuperadas divididas por todas as instâncias relevantes.
Considere um programa de computador projetado para reconhecer cães em fotografias digitais. Se uma imagem contém dez gatos e doze cães, e o programa identifica oito elementos como cães, dos quais cinco são realmente cães (verdadeiros positivos) e três são gatos (falsos positivos), então sete cães são perdidos (falsos negativos) e sete gatos são corretamente excluídos (verdadeiros negativos). A precisão do programa é 5/8, pois apenas cinco dos oito elementos selecionados são relevantes. Seu recall é 5/12, porque apenas cinco dos doze cães relevantes são recuperados. Este exemplo ilustra como precisão e recall capturam diferentes aspectos do desempenho.
Relação com Teste de Hipóteses
Precisão e recall podem ser compreendidos através da lente do teste de hipóteses. Em uma configuração típica, a hipótese nula é que um determinado item é irrelevante (por exemplo, não é um cão). Um erro do tipo I ocorre quando um item relevante é incorretamente rejeitado, o que corresponde a um falso positivo. Um erro do tipo II ocorre quando um item irrelevante é incorretamente aceito, correspondendo a um falso negativo. Precisão perfeita (sem falsos positivos) é equivalente a não ter erros do tipo I, enquanto recall perfeito (sem falsos negativos) é equivalente a não ter erros do tipo II.
Mais geralmente, o recall é o complemento da taxa de erro do tipo II, ou seja, recall é igual a um menos a taxa de falsos negativos. A precisão está relacionada à taxa de erro do tipo I, mas de uma forma mais complexa, pois também depende da distribuição prévia de itens relevantes versus irrelevantes na população. No exemplo dos cães, há três erros do tipo I (falsos positivos) entre dez gatos, dando uma taxa de erro do tipo I de 3/10. Há sete erros do tipo II (falsos negativos) entre doze cães, dando uma taxa de erro do tipo II de 7/12.
Precisão como Qualidade, Recall como Quantidade
A precisão é frequentemente vista como uma medida de qualidade, indicando quantos dos itens recuperados são realmente relevantes. Alta precisão significa que um algoritmo retorna mais resultados relevantes do que irrelevantes. O recall, por outro lado, é uma medida de quantidade, indicando quantos dos itens relevantes são recuperados. Alto recall significa que um algoritmo retorna a maioria dos resultados relevantes, independentemente de também retornar resultados irrelevantes.
Essas métricas não são particularmente úteis isoladamente. Por exemplo, é possível alcançar recall perfeito simplesmente recuperando todos os itens do conjunto de dados. Por outro lado, precisão perfeita pode ser alcançada selecionando apenas um número muito pequeno de itens extremamente prováveis, mesmo que muitos itens relevantes sejam perdidos. Portanto, precisão e recall são tipicamente avaliados em conjunto.
Em uma tarefa de classificação, uma pontuação de precisão de 1,0 para uma classe C significa que todo item rotulado como pertencente à classe C realmente pertence a essa classe, mas não diz nada sobre quantos itens da classe C não foram rotulados corretamente. Um recall de 1,0 significa que todo item da classe C foi rotulado como pertencente à classe C, mas não diz nada sobre quantos itens de outras classes foram incorretamente rotulados como classe C.
O Tradeoff entre Precisão e Recall
Frequentemente, há uma relação inversa entre precisão e recall. Aumentar um tipicamente reduz o outro, mas o contexto da aplicação pode ditar qual métrica é mais valorizada. Por exemplo, um detector de fumaça é geralmente projetado para cometer muitos erros do tipo I, alertando em situações onde não há perigo, porque o custo de um erro do tipo II (falhar em soar um alarme durante um grande incêndio) é proibitivamente alto. Detectores de fumaça são, portanto, projetados com o recall em mente, capturando todos os perigos reais mesmo ao custo de muitos alarmes falsos.
Em contraste, o sistema de justiça criminal frequentemente enfatiza a precisão, como refletido na proporção de Blackstone: "É melhor que dez culpados escapem do que um inocente sofra." Este princípio destaca o custo de um erro do tipo I (condenar uma pessoa inocente). Como tal, o sistema é voltado para a precisão, evitando condenações injustas mesmo ao custo de deixar mais culpados livres, o que reduz o recall.
Um cirurgião cerebral removendo um tumor cancerígeno ilustra o tradeoff também. O cirurgião deve remover todas as células tumorais para prevenir regeneração, mas também deve evitar remover células cerebrais saudáveis para preservar a função cerebral. Se o cirurgião for mais liberal na área do cérebro que remove, ele aumenta o recall (removendo todas as células cancerígenas) mas reduz a precisão (removendo células saudáveis). Se o cirurgião for mais conservador, ele aumenta a precisão mas reduz o recall. Maior recall aumenta as chances de remover todas as células cancerígenas, mas também aumenta o risco de remover células saudáveis. Maior precisão diminui o risco de remover células saudáveis, mas também diminui as chances de remover todas as células cancerígenas.
Curvas de Precisão-Recall e Métricas Combinadas
Na prática, as pontuações de precisão e recall não são discutidas isoladamente. Uma curva de precisão-recall representa a precisão como uma função do recall, tipicamente mostrando que a precisão diminui à medida que o recall aumenta. Esta curva fornece uma visão abrangente do desempenho de um modelo em diferentes limiares. Alternativamente, valores para uma medida podem ser comparados para um nível fixo da outra, como precisão em um nível de recall de 0,75.
Várias métricas combinadas incorporam tanto precisão quanto recall. A pontuação F1, a média harmônica de precisão e recall, é amplamente usada para resumir o desempenho de um modelo em um único número. A pontuação F1 é particularmente útil quando a distribuição de classes é desbalanceada, pois equilibra o tradeoff entre precisão e recall. Outras métricas, como a área sob a curva de precisão-recall, também são usadas para avaliar modelos, especialmente em tarefas de Machine learning onde classes positivas são raras.
Aplicações em Aprendizado de Máquina
Precisão e recall são essenciais em muitas aplicações de Machine learning, particularmente em sistemas de Artificial intelligence onde erros de classificação têm consequências diferentes. Por exemplo, na avaliação de Large language model, precisão e recall podem ser usados para avaliar a relevância de respostas geradas ou documentos recuperados. Em classificadores baseados em Neural network, essas métricas orientam a seleção de limiares de decisão e o ajuste de parâmetros do modelo.
Em problemas de classificação desbalanceada, como detecção de fraude ou diagnóstico médico, a acurácia é frequentemente enganosa porque a classe majoritária domina. Precisão e recall fornecem uma visão mais matizada, permitindo que profissionais otimizem para os custos específicos de falsos positivos e falsos negativos. Técnicas como Data Augmentation e Loss Functions são frequentemente empregadas para melhorar precisão e recall em tais cenários.
Limitações e Considerações
Embora precisão e recall sejam poderosos, eles têm limitações. Eles não levam em conta os verdadeiros negativos, que podem ser importantes em alguns contextos. Por exemplo, em um problema de classificação binária com um grande número de instâncias negativas, um modelo com alta precisão e recall pode ainda ter muitos falsos positivos, o que poderia ser problemático. Além disso, precisão e recall são sensíveis à escolha da classe positiva, e as definições podem ser ambíguas em configurações multiclasse.
Além disso, precisão e recall não são diretamente comparáveis entre diferentes conjuntos de dados ou tarefas, pois dependem da taxa base da classe positiva. Um modelo com alto recall em um conjunto de dados de doença rara pode não ter bom desempenho em uma condição comum. Portanto, é importante considerar o contexto e os custos associados a diferentes tipos de erros ao interpretar essas métricas.