수신자 조작 특성 곡선, 또는 ROC 곡선은 다양한 임계값에서 이진 분류기 모델의 성능을 나타내는 그래픽 플롯이다. 여러 클래스로 일반화할 수 있지만, 가장 일반적으로 이진 분류 문제에 적용된다. ROC 분석은 임상 역학에서 진단 검사 성능 평가뿐만 아니라 기계 학습, 방사선학, 생체 인식, 예측 분야에서도 자주 사용된다. 이 곡선은 모든 가능한 분류 임계값에 걸쳐 민감도와 특이도 사이의 균형에 대한 포괄적인 관점을 제공하며, 특정 작동 지점을 지정하지 않고도 모델 비교를 가능하게 한다.
ROC 곡선은 각 임계값 설정에서 실제 양성 비율(TPR)을 위양성 비율(FPR)에 대해 플롯한 것이다. 실제 양성 비율은 민감도 또는 검출 확률이라고도 하며, 실제 양성 중 올바르게 식별된 비율을 측정한다. 위양성 비율은 오경보 확률이라고도 하며, 1에서 특이도를 뺀 값과 같고 실제 음성 중 양성으로 잘못 분류된 비율을 측정한다. 이 곡선은 또한 결정 규칙의 제1종 오류에 대한 통계적 검정력의 플롯으로 해석될 수 있다. 실제 양성 및 위양성 결과에 대한 확률 분포가 알려진 경우, ROC 곡선은 y축의 검출 확률 누적 분포 함수 대 x축의 위양성 확률 누적 분포 함수로 얻어진다.
ROC 분석은 비용 맥락이나 클래스 분포를 지정하기 전에, 그리고 그것과 독립적으로 최적의 모델을 선택하고 차선의 모델을 폐기하는 도구를 제공한다. 이는 진단 결정의 비용/편익 분석과 직접적이고 자연스러운 방식으로 관련된다. ROC 곡선 아래 면적(AUC)은 분류기의 전반적인 성능을 요약하는 단일 스칼라 값으로, 1에 가까울수록 더 나은 판별력을 나타내고 0.5는 무작위 추측과 동등한 성능을 나타낸다.
용어
실제 양성 비율은 민감도, 재현율 또는 검출 확률이라고도 한다. 위양성 비율은 오경보 확률이라고도 하며 1에서 특이도를 뺀 값과 같다. ROC 곡선은 기준이 변경됨에 따라 두 작동 특성(TPR 및 FPR)을 비교하기 때문에 상대 작동 특성 곡선이라고도 한다. 일부 분야에서는 이 곡선을 민감도 대 (1 - 특이도) 플롯이라고 한다. "양성"과 "음성"이라는 용어는 예측된 클래스 레이블을 나타내며, "실제"와 "거짓"은 예측이 실제 지상 진실과 일치하는지 여부를 나타낸다.
역사
ROC 곡선은 1941년부터 제2차 세계 대전 중 전장에서 적 개체를 탐지하기 위해 전기 엔지니어와 레이더 엔지니어에 의해 처음 개발되었다. 이 기원은 레이더 수신기의 작동 특성을 설명했기 때문에 "수신자 조작 특성"이라는 이름을 낳았다. 이 기법은 곧 신호 검출 이론에서 특히 자극의 지각적 검출을 설명하기 위해 심리학에 도입되었다. 이후 수십 년 동안 ROC 분석은 의학, 방사선학, 생체 인식, 자연 재해 예측, 기상학, 모델 성능 평가에 채택되었다. 최근 몇 년 동안 분류 모델 평가를 위한 표준 도구로 Machine learning 및 데이터 마이닝 연구에서 점점 더 많이 사용되고 있다.
기본 개념
분류 모델은 인스턴스를 특정 클래스나 그룹에 매핑하는 것이다. 분류기 출력은 임의의 실수 값일 수 있으며, 클래스 경계를 결정하기 위해 임계값이 필요하거나 이산 클래스 레이블일 수 있다. 결과가 양성(p) 또는 음성(n)으로 레이블되는 두 클래스 예측 문제를 고려하자. 이진 분류기에서 네 가지 가능한 결과가 발생한다: 실제 양성(TP)은 예측이 p이고 실제 값이 p일 때 발생하고, 위양성(FP)은 예측이 p이지만 실제 값이 n일 때 발생하며, 실제 음성(TN)은 예측과 실제 값이 모두 n일 때 발생하고, 위음성(FN)은 예측이 n이지만 실제 값이 p일 때 발생한다.
예를 들어, 질병에 대한 진단 검사에서 위양성은 사람이 양성으로 검사되지만 실제로 질병이 없을 때 발생한다. 위음성은 사람이 음성으로 검사되지만 실제로 질병이 있을 때 발생한다. 이 네 가지 결과는 혼동 행렬이라고도 하는 2x2 분할표로 구성될 수 있으며, 이는 다양한 평가 지표를 계산하는 기초를 형성한다.
ROC 공간
ROC 공간은 x축의 위양성 비율과 y축의 실제 양성 비율로 정의된다. 이 그래픽 표현은 실제 양성(이점)과 위양성(비용) 사이의 상대적 균형을 묘사한다. 각 예측 결과 또는 혼동 행렬의 인스턴스는 ROC 공간에서 한 점을 나타낸다. 최상의 예측 방법은 좌표 (0,1)의 왼쪽 위 모서리에 점을 생성하며, 이는 100% 민감도(위음성 없음)와 100% 특이도(위양성 없음)를 나타낸다. 이 점은 완벽한 분류라고 불린다.
무작위 추측은 왼쪽 아래에서 오른쪽 위 모서리로 이어지는 무판별 선이라고 하는 대각선을 따라 점을 제공한다. 무작위 추측의 직관적인 예는 동전 던지기로 결정하는 것이다. 표본 크기가 증가함에 따라 무작위 분류기의 ROC 점은 대각선을 향하는 경향이 있으며, 균형 잡힌 동전의 경우 점 (0.5, 0.5)를 향한다. 대각선은 ROC 공간을 나눈다: 대각선 위의 점은 좋은 분류 결과(무작위보다 나은)를 나타내고, 아래의 점은 나쁜 결과(무작위보다 나쁜)를 나타낸다. 주목할 점은 일관되게 나쁜 예측기의 출력을 반전시켜 좋은 예측기를 얻을 수 있다는 것이다. 점을 중심 (0.5, 0.5)를 기준으로 대칭시키면 보완 분류기가 생성되기 때문이다.
임계값 변동
ROC 곡선은 분류 임계값을 변경하고 각 임계값 설정에서 결과 TPR 및 FPR을 플롯하여 생성된다. 연속 점수를 출력하는 분류기의 경우 임계값을 낮추면 TPR과 FPR이 모두 증가하고, 임계값을 높이면 둘 다 감소한다. 곡선은 가장 높은 임계값(양성으로 분류된 인스턴스가 없는 지점)의 점 (0,0)에서 가장 낮은 임계값(모든 인스턴스가 양성으로 분류되는 지점)의 점 (1,1)까지 경로를 추적한다. 곡선의 각 점은 특정 임계값에 해당하며, 실무자는 애플리케이션 요구 사항에 따라 민감도와 특이도의 균형을 맞추는 작동 지점을 선택할 수 있다.
곡선 아래 면적
ROC 곡선 아래 면적은 일반적으로 AUC로 약칭되며 널리 사용되는 요약 지표이다. AUC는 분류기가 무작위로 선택된 양성 인스턴스를 무작위로 선택된 음성 인스턴스보다 높게 순위를 매길 확률을 나타낸다. AUC 1.0은 완벽한 판별을 나타내고, AUC 0.5는 무작위 추측보다 나은 성능이 없음을 나타낸다. 0.5 미만의 AUC 값은 분류기가 무작위보다 나쁜 성능을 보임을 시사하며, 이는 레이블 오류 또는 예측을 반전하면 성능이 향상될 수 있음을 나타낼 수 있다. AUC는 임계값 선택과 클래스 분포와 독립적인 단일 숫자를 제공하므로 여러 분류기를 비교하는 데 특히 유용하다.
응용 분야
ROC 분석은 다양한 분야에 적용된다. 임상 역학에서는 고혈압에 대한 혈압 측정이나 질병 검출을 위한 바이오마커와 같은 진단 검사의 정확성을 평가하는 데 사용된다. 방사선학에서는 영상 기술과 방사선 전문의의 해석 성능을 평가하는 데 ROC 곡선이 도움이 된다. 생체 인식에서는 지문 및 얼굴 인식 시스템을 평가하는 데 사용된다. 기상학에서는 자연 재해 예측과 같은 예보 검증에 ROC 분석이 적용된다. Machine learning에서는 Deep learning 및 Neural network 모델을 포함한 이진 분류기 평가를 위한 표준 도구로 ROC 곡선이 사용된다. 이 기법은 연속 신뢰 점수를 기반으로 이진 결정이 이루어지는 콘텐츠 조정이나 감정 분석과 같은 작업에서 Large language model 출력을 평가하는 데도 관련이 있다.
한계 및 고려 사항
ROC 곡선에는 특정 한계가 있다. 주로 이진 분류를 위해 설계되었으며, 여러 클래스로의 일반화는 가능하지만 일대다 또는 일대일 전략과 같은 더 복잡한 접근 방식이 필요하다. 곡선은 애플리케이션에 따라 달라질 수 있는 위양성 및 위음성의 비용을 직접 통합하지 않는다. 또한 클래스 분포가 매우 불균형한 경우 ROC 곡선은 양성 클래스에 초점을 맞춘 정밀도-재현율 곡선과 비교하여 성능에 대해 지나치게 낙관적인 관점을 제시할 수 있다. 이러한 한계에도 불구하고 ROC 분석은 임계값 독립성과 직관적인 그래픽 표현으로 인해 모델 평가에서 기본적인 도구로 남아 있다.