Precisão e recall são duas métricas de desempenho fundamentais usadas para avaliar a qualidade de um sistema de classificação ou recuperação de informação. Elas quantificam o quão bem um modelo identifica itens relevantes de um conjunto de dados, equilibrando os custos de falsos positivos e falsos negativos. Precisão, também chamada de valor preditivo positivo, mede a fração de instâncias recuperadas que são realmente relevantes. Recall, também conhecido como sensibilidade, mede a fração de todas as instâncias relevantes que foram recuperadas com sucesso. Juntas, elas fornecem uma visão mais matizada do comportamento de um modelo do que a acurácia sozinha, particularmente quando as classes são desbalanceadas ou quando os custos de diferentes erros variam.
Em termos formais, a precisão é calculada como o número de verdadeiros positivos dividido pelo número total de itens que o sistema rotulou como positivos (verdadeiros positivos mais falsos positivos). O recall é calculado como o número de verdadeiros positivos dividido pelo número total de itens que realmente pertencem à classe positiva (verdadeiros positivos mais falsos negativos). Por exemplo, considere um programa de computador projetado para reconhecer cães em fotografias digitais. Se uma imagem contém dez gatos e doze cães, e o programa identifica oito elementos como cães, dos quais cinco são realmente cães (verdadeiros positivos) e três são gatos (falsos positivos), então sete cães são perdidos (falsos negativos) e sete gatos são corretamente excluídos (verdadeiros negativos). A precisão do programa é 5/8, pois apenas cinco dos oito elementos selecionados são relevantes. Seu recall é 5/12, pois apenas cinco dos doze cães relevantes foram encontrados.
Relação com Erros Estatísticos
Precisão e recall mapeiam diretamente para conceitos de teste de hipóteses estatísticas. Se a hipótese nula é que um determinado item é irrelevante, então um falso positivo (erro tipo I) ocorre quando um item irrelevante é incorretamente selecionado, e um falso negativo (erro tipo II) ocorre quando um item relevante é perdido. Precisão perfeita corresponde a zero falsos positivos, significando que todo item recuperado é relevante. Recall perfeito corresponde a zero falsos negativos, significando que todo item relevante é recuperado. Recall é simplesmente o complemento da taxa de erro tipo II, calculado como um menos essa taxa. Precisão está relacionada à taxa de erro tipo I, mas de uma maneira mais complexa, porque também depende da distribuição prévia de itens relevantes versus irrelevantes na população. No exemplo do reconhecimento de cães, há três erros tipo I entre dez gatos no total, dando uma taxa de erro tipo I de 3/10, e sete erros tipo II entre doze cães, dando uma taxa de erro tipo II de 7/12.
Interpretação e Utilidade
A precisão é frequentemente descrita como uma medida de qualidade, indicando o quão confiáveis são as previsões positivas. O recall é uma medida de quantidade, indicando o quão completa é a cobertura do sistema da classe positiva. Alta precisão significa que o algoritmo retorna principalmente resultados relevantes, enquanto alto recall significa que ele retorna a maioria dos resultados relevantes, mesmo que alguns irrelevantes também sejam incluídos. Essas métricas não são particularmente úteis isoladamente. Um sistema pode alcançar recall perfeito simplesmente recuperando todos os itens da coleção, mas tal sistema teria precisão muito baixa. Por outro lado, um sistema pode alcançar precisão perfeita selecionando apenas um único item que é quase certamente relevante, mas isso sacrificaria o recall. Na prática, precisão e recall são geralmente relatados juntos, frequentemente através de uma curva de precisão-recall que plota a precisão em função do recall. Tipicamente, a precisão diminui à medida que o recall aumenta, refletindo a troca inerente entre os dois.
A Troca entre Precisão e Recall
Há frequentemente uma relação inversa entre precisão e recall, onde aumentar um vem ao custo de reduzir o outro. O equilíbrio ótimo depende da aplicação específica e dos custos relativos de diferentes tipos de erros. Um detector de fumaça é um exemplo clássico de um sistema projetado com o recall em mente. Ele é intencionalmente propenso a alarmes falsos (erros tipo I) porque o custo de não alertar durante um incêndio real é proibitivamente alto. O detector sacrifica a precisão para garantir que capture todos os perigos genuínos. Em contraste, o sistema de justiça criminal, guiado pela proporção de Blackstone de que "é melhor que dez culpados escapem do que um inocente sofra", enfatiza a precisão. O sistema é projetado para evitar condenar pessoas inocentes, mesmo que isso signifique deixar mais indivíduos culpados livres, sacrificando assim o recall.
Um cirurgião cerebral removendo um tumor cancerígeno ilustra a troca em nível individual. O cirurgião deve remover todas as células tumorais para prevenir o crescimento, mas também deve evitar remover células cerebrais saudáveis para preservar a função. Uma abordagem mais liberal, removendo uma área mais ampla ao redor do tumor, aumenta o recall ao garantir que todas as células cancerígenas sejam extraídas, mas também aumenta a chance de remover tecido saudável. Uma abordagem mais conservadora aumenta a precisão ao mirar apenas células cancerígenas confirmadas, mas corre o risco de deixar algumas células tumorais para trás. Ambos os resultados têm consequências significativas, e a escolha do cirurgião reflete os pesos relativos dados à precisão e ao recall nesse contexto.
Uso em Aprendizado de Máquina
Em Machine learning, precisão e recall são métricas de avaliação padrão para modelos de classificação, particularmente em domínios com conjuntos de dados desbalanceados. Por exemplo, em diagnósticos médicos, um modelo que detecta uma doença rara pode ter alta acurácia simplesmente prevendo a classe majoritária, mas precisão e recall revelam sua utilidade real. Em pesquisa de Artificial intelligence, essas métricas são usadas para comparar modelos em tarefas como detecção de objetos, filtragem de spam e recuperação de documentos. Elas também são fundamentais para métricas derivadas como o escore F1, que é a média harmônica de precisão e recall, fornecendo um único número que equilibra ambas as preocupações. Os conceitos se estendem além da classificação binária para configurações multiclasse, onde precisão e recall são calculados por classe e depois agregados.
Aplicações em Recuperação de Informação
Precisão e recall originaram-se no campo da recuperação de informação, onde avaliam mecanismos de busca e sistemas de consulta a bancos de dados. Nesse contexto, a precisão mede a proporção de documentos recuperados que são relevantes para a consulta do usuário, enquanto o recall mede a proporção de todos os documentos relevantes na coleção que foram recuperados. Mecanismos de busca frequentemente enfrentam uma troca: retornar mais resultados pode aumentar o recall, mas pode diluir a precisão com páginas irrelevantes. Sistemas de ranqueamento usam precisão em um número fixo de resultados, como precisão em 10, para avaliar a qualidade dos principais resultados. Essas métricas permanecem centrais para avaliar sistemas de recuperação modernos, incluindo aqueles alimentados por Large language models e tecnologias de Generative AI.
Limitações e Extensões
Precisão e recall têm limitações. Elas não levam em conta verdadeiros negativos, que podem ser importantes em algumas aplicações. Elas também são sensíveis à escolha da classe positiva, e sua interpretação depende da probabilidade prévia da classe positiva. Quando a classe positiva é rara, o recall pode ser difícil de melhorar sem introduzir muitos falsos positivos. Para abordar esses problemas, pesquisadores desenvolveram métricas relacionadas, como o escore F1, a área sob a curva de precisão-recall e o coeficiente de correlação de Matthews. Na prática, a escolha da métrica depende dos objetivos da aplicação, e precisão e recall são frequentemente relatados junto com outras estatísticas para fornecer uma imagem completa do desempenho do modelo.