Uma curva de característica de operação do receptor, ou curva ROC, é um gráfico que ilustra o desempenho de um modelo classificador binário em diferentes valores de limiar. Embora possa ser generalizada para múltiplas classes, é mais comumente aplicada a problemas de classificação binária. A análise ROC é frequentemente utilizada na avaliação do desempenho de testes diagnósticos em epidemiologia clínica, bem como em aprendizado de máquina, radiologia, biometria e previsão. A curva fornece uma visão abrangente do trade-off entre sensibilidade e especificidade em todos os limiares de classificação possíveis, permitindo a comparação de modelos sem especificar um ponto de operação particular.
A curva ROC é o gráfico da taxa de verdadeiros positivos (TPR) contra a taxa de falsos positivos (FPR) em cada configuração de limiar. A taxa de verdadeiros positivos, também conhecida como sensibilidade ou probabilidade de detecção, mede a proporção de positivos reais corretamente identificados. A taxa de falsos positivos, também conhecida como probabilidade de falso alarme, é igual a 1 menos a especificidade e mede a proporção de negativos reais incorretamente classificados como positivos. A curva também pode ser interpretada como um gráfico do poder estatístico em função do erro Tipo I da regra de decisão. Quando as distribuições de probabilidade para resultados verdadeiros positivos e falsos positivos são conhecidas, a curva ROC é obtida como a função de distribuição cumulativa da probabilidade de detecção no eixo y versus a função de distribuição cumulativa da probabilidade de falso positivo no eixo x.
A análise ROC fornece ferramentas para selecionar modelos possivelmente ótimos e descartar subótimos, independentemente e antes de especificar o contexto de custo ou a distribuição de classes. Ela está relacionada de maneira direta e natural à análise de custo/benefício da tomada de decisão diagnóstica. A área sob a curva ROC (AUC) é um valor escalar único que resume o desempenho geral de um classificador, com valores mais próximos de 1 indicando melhor discriminação e 0,5 indicando desempenho equivalente a um palpite aleatório.
Terminologia
A taxa de verdadeiros positivos também é conhecida como sensibilidade, recall ou probabilidade de detecção. A taxa de falsos positivos também é conhecida como probabilidade de falso alarme e é igual a 1 menos a especificidade. A curva ROC também é conhecida como curva de característica operativa relativa, pois é uma comparação de duas características operativas (TPR e FPR) à medida que o critério muda. Em alguns campos, a curva é referida como gráfico de sensibilidade versus (1 menos especificidade). Os termos "positivo" e "negativo" referem-se aos rótulos de classe previstos, enquanto "verdadeiro" e "falso" indicam se a previsão corresponde à verdade real.
História
A curva ROC foi desenvolvida pela primeira vez por engenheiros elétricos e engenheiros de radar durante a Segunda Guerra Mundial para detectar objetos inimigos em campos de batalha, a partir de 1941. Essa origem levou ao seu nome, "característica de operação do receptor", pois descrevia as características operacionais dos receptores de radar. A técnica logo foi introduzida na psicologia para explicar a detecção perceptual de estímulos, particularmente na teoria de detecção de sinais. Ao longo das décadas seguintes, a análise ROC foi adotada na medicina, radiologia, biometria, previsão de riscos naturais, meteorologia e avaliação de desempenho de modelos. Nos últimos anos, tornou-se cada vez mais utilizada em Machine learning e pesquisa em mineração de dados como uma ferramenta padrão para avaliar modelos de classificação.
Conceito Básico
Um modelo de classificação é um mapeamento de instâncias para certas classes ou grupos. A saída do classificador pode ser um valor real arbitrário, exigindo um limiar para determinar o limite da classe, ou pode ser um rótulo de classe discreto. Considere um problema de previsão de duas classes em que os resultados são rotulados como positivo (p) ou negativo (n). Quatro resultados possíveis surgem de um classificador binário: um verdadeiro positivo (TP) ocorre quando a previsão é p e o valor real é p; um falso positivo (FP) ocorre quando a previsão é p, mas o valor real é n; um verdadeiro negativo (TN) ocorre quando tanto a previsão quanto o valor real são n; e um falso negativo (FN) ocorre quando a previsão é n, mas o valor real é p.
Por exemplo, em um teste diagnóstico para uma doença, um falso positivo ocorre quando uma pessoa testa positivo, mas não tem a doença. Um falso negativo ocorre quando uma pessoa testa negativo, mas tem a doença. Esses quatro resultados podem ser organizados em uma tabela de contingência 2x2, também conhecida como matriz de confusão, que forma a base para calcular várias métricas de avaliação.
Espaço ROC
O espaço ROC é definido pela taxa de falsos positivos no eixo x e pela taxa de verdadeiros positivos no eixo y. Essa representação gráfica retrata os trade-offs relativos entre verdadeiros positivos (benefícios) e falsos positivos (custos). Cada resultado de previsão ou instância de uma matriz de confusão representa um ponto no espaço ROC. O melhor método de previsão possível produziria um ponto no canto superior esquerdo, nas coordenadas (0,1), representando 100% de sensibilidade (sem falsos negativos) e 100% de especificidade (sem falsos positivos). Esse ponto é chamado de classificação perfeita.
Um palpite aleatório daria um ponto ao longo da linha diagonal, chamada de linha de não discriminação, que vai do canto inferior esquerdo ao canto superior direito. Um exemplo intuitivo de palpite aleatório é uma decisão por lançamento de moedas. À medida que o tamanho da amostra aumenta, o ponto ROC de um classificador aleatório tende à linha diagonal; para uma moeda equilibrada, tende ao ponto (0,5, 0,5). A diagonal divide o espaço ROC: pontos acima da diagonal representam bons resultados de classificação (melhores que aleatórios), enquanto pontos abaixo representam maus resultados (piores que aleatórios). Notavelmente, a saída de um preditor consistentemente ruim pode ser invertida para obter um bom preditor, pois espelhar um ponto através do centro (0,5, 0,5) produz um classificador complementar.
Variação de Limiar
Uma curva ROC é gerada variando o limiar de classificação e plotando a TPR e a FPR resultantes em cada configuração de limiar. Para um classificador que produz uma pontuação contínua, diminuir o limiar aumenta tanto a TPR quanto a FPR, enquanto aumentar o limiar diminui ambas. A curva traça um caminho do ponto (0,0) no limiar mais alto (onde nenhuma instância é classificada como positiva) ao ponto (1,1) no limiar mais baixo (onde todas as instâncias são classificadas como positivas). Cada ponto na curva corresponde a um valor de limiar específico, permitindo que os profissionais selecionem um ponto de operação que equilibre sensibilidade e especificidade de acordo com os requisitos da aplicação.
Área Sob a Curva
A área sob a curva ROC, comumente abreviada como AUC, é uma métrica resumida amplamente utilizada. A AUC representa a probabilidade de que uma instância positiva escolhida aleatoriamente seja classificada como mais alta do que uma instância negativa escolhida aleatoriamente pelo classificador. Uma AUC de 1,0 indica discriminação perfeita, enquanto uma AUC de 0,5 indica desempenho não melhor que um palpite aleatório. Valores de AUC abaixo de 0,5 sugerem que o classificador está performando pior que o aleatório, o que pode indicar um erro de rotulagem ou que inverter as previsões melhoraria o desempenho. A AUC é particularmente útil para comparar múltiplos classificadores, pois fornece um único número que é independente da escolha do limiar e da distribuição de classes.
Aplicações
A análise ROC é aplicada em diversos domínios. Em epidemiologia clínica, é usada para avaliar a precisão de testes diagnósticos, como medições de pressão arterial para hipertensão ou biomarcadores para detecção de doenças. Em radiologia, as curvas ROC ajudam a avaliar o desempenho de técnicas de imagem e interpretações de radiologistas. Em biometria, são usadas para avaliar sistemas de reconhecimento de impressões digitais e faciais. Em meteorologia, a análise ROC é aplicada à verificação de previsões, como na previsão de riscos naturais. Em Machine learning, as curvas ROC são ferramentas padrão para avaliar classificadores binários, incluindo aqueles usados em modelos de Deep learning e Neural network. A técnica também é relevante para avaliar saídas de Large language model em tarefas como moderação de conteúdo ou análise de sentimentos, onde decisões binárias são tomadas com base em pontuações de confiança contínuas.
Limitações e Considerações
As curvas ROC têm certas limitações. Elas são projetadas principalmente para classificação binária, e embora a generalização para múltiplas classes seja possível, requer abordagens mais complexas, como estratégias um-vs-resto ou um-vs-um. A curva não incorpora diretamente os custos de falsos positivos e falsos negativos, que podem variar por aplicação. Além disso, quando as distribuições de classes são altamente desbalanceadas, a curva ROC pode apresentar uma visão excessivamente otimista do desempenho em comparação com curvas de precisão-recall, que focam na classe positiva. Apesar dessas limitações, a análise ROC permanece uma ferramenta fundamental na avaliação de modelos devido à sua independência de limiar e representação gráfica intuitiva.