정밀도-재현율 곡선은 분류 작업에서 다양한 결정 임계값에 따라 정밀도(양성 예측 값)를 y축에, 재현율(민감도)을 x축에 표시하여 모델의 성능을 평가하는 그래픽 표현입니다. 곡선의 각 점은 특정 임계값 설정에 해당하며, 임계값이 조정됨에 따라 정밀도와 재현율이 어떻게 변화하는지 보여줍니다. 이 곡선은 한 클래스가 드문 불균형 데이터셋에서 특히 유용하며, 실제 음성보다는 양성 클래스 성능에 초점을 맞춥니다.
정밀도는 검색된 인스턴스 중 관련 인스턴스의 비율로 정의되며, 동등하게는 실제 양성 수를 실제 양성 수와 거짓 양성 수의 합으로 나눈 값입니다. 재현율은 검색된 관련 인스턴스의 비율, 즉 실제 양성 수를 실제 양성 수와 거짓 음성 수의 합으로 나눈 값입니다. 분류 작업에서 완벽한 분류기는 정밀도와 재현율이 모두 1.0이 되어 곡선이 오른쪽 위 모서리를 통과합니다. 그러나 실제로는 종종 역의 관계가 있습니다. 재현율을 높이면 정밀도가 낮아지는 경향이 있고, 그 반대도 마찬가지입니다. 정밀도-재현율 곡선은 일반적으로 낮은 재현율에서 높은 정밀도에서 높은 재현율에서 낮은 정밀도로 아래쪽으로 기울어지지만, 정확한 모양은 모델과 데이터에 따라 다릅니다.
제1종 및 제2종 오류와의 관계
정밀도와 재현율은 가설 검정 개념과 밀접하게 연결되어 있습니다. 재현율은 제2종 오류율(거짓 음성율)의 보완으로, 높은 재현율은 놓친 양성 인스턴스가 적음을 의미합니다. 정밀도는 제1종 오류율(거짓 양성율)과 관련이 있지만 양성 및 음성 인스턴스의 사전 분포에도 의존합니다. 예를 들어, 고양이 10마리와 개 12마리로 구성된 데이터셋에서 8마리의 개를 식별하고 그중 5마리가 실제 개인 개 인식 프로그램의 정밀도는 5/8이고 재현율은 5/12입니다. 제1종 오류율은 3/10(고양이 10마리 중 거짓 양성 3개)이고, 제2종 오류율은 7/12(개 12마리 중 거짓 음성 7개)입니다. 정밀도는 품질의 척도(선택된 항목 중 얼마나 많은 항목이 관련이 있는지)로 볼 수 있고, 재현율은 수량의 척도(관련 항목 중 얼마나 많은 항목이 선택되었는지)로 볼 수 있습니다.
절충과 실제 사례
정밀도와 재현율 간의 절충은 종종 상황에 따라 달라집니다. 예를 들어, 연기 감지기는 재현율을 우선시하도록 설계되었습니다. 화재를 놓치는 것(거짓 음성)의 비용이 치명적이기 때문이며, 많은 거짓 경보(낮은 정밀도)가 발생하더라도 마찬가지입니다. 반대로, 형사 사법 제도는 블랙스톤의 원칙 - "열 명의 유죄자가 도망치는 것이 한 명의 무고한 사람이 고통받는 것보다 낫다" - 에 따라 정밀도를 우선시하여 무고한 사람을 유죄 판결하지 않기 위해 낮은 재현율을 수용합니다. 뇌종양을 제거하는 신경외과 의사도 비슷한 딜레마에 직면합니다. 더 넓은 영역을 제거하면 재현율이 높아지지만(모든 암세포가 제거되도록) 정밀도는 낮아지며(건강한 조직 제거), 보수적인 접근은 정밀도를 높이지만 암세포를 남길 위험이 있습니다.
구성 및 해석
정밀도-재현율 곡선을 구성하려면 모델이 각 인스턴스에 대해 점수 또는 확률을 출력해야 합니다. 인스턴스가 양성으로 분류되는 임계값을 변화시킴으로써 다른 정밀도와 재현율 쌍을 얻습니다. 이 쌍들이 곡선으로 표시됩니다. 정밀도-재현율 곡선 아래 면적(PR-AUC)은 곡선의 단일 숫자 요약이며, 값이 높을수록 전반적인 성능이 더 좋음을 나타냅니다. 무작위 분류기는 일반적으로 양성 인스턴스의 비율에서 수평선을 생성하므로, 유용한 모델의 PR-AUC는 이 기준선 위에 있어야 합니다. 이 곡선은 양성 클래스가 드물 때 특히 유용하며, 혼동 행렬만으로는 오해를 불러일으킬 수 있습니다.
머신 러닝에서의 사용
정밀도-재현율 곡선은 Machine learning 및 Artificial intelligence에서 이진 분류기를 평가하는 데 널리 사용되며, 특히 정보 검색, 의료 진단, 사기 탐지와 같은 영역에서 그렇습니다. 이 곡선은 실제 양성율을 거짓 양성율에 대해 플롯하는 수신자 조작 특성(ROC) 곡선과 자주 비교됩니다. ROC 곡선과 달리 정밀도-재현율 곡선은 실제 음성을 포함하지 않으므로 양성 클래스 성능에 더 민감합니다. 많은 Neural network 및 Deep learning 프레임워크는 정밀도-재현율 곡선을 계산하고 플롯하는 내장 함수를 제공하여 모델 선택과 임계값 조정을 용이하게 합니다. 예를 들어, Natural language processing 작업에서 문서 분류와 같은 경우 정밀도-재현율 곡선은 관련 문서 검색과 비관련 문서 포함의 균형을 맞추는 데 도움이 될 수 있습니다.
한계 및 고려 사항
정밀도-재현율 곡선에는 한계가 있습니다. 클래스 불균형에 민감하며, 균형 잡힌 데이터셋에서 높은 정밀도와 재현율을 가진 모델이 불균형 데이터셋에서는 성능이 좋지 않을 수 있습니다. 또한 곡선은 절대적인 인스턴스 수를 전달하지 않으므로 다른 데이터셋 간에 곡선을 비교하면 오해를 불러일으킬 수 있습니다. 모든 인스턴스를 검색하여 완벽한 재현율을 달성할 수도 있지만, 그러한 모델은 정밀도가 낮습니다. 반대로 가장 확실한 인스턴스만 선택하면 완벽한 정밀도를 달성할 수 있지만 재현율은 낮아집니다. 따라서 정밀도와 재현율은 단독으로 논의되는 경우가 거의 없습니다. 대신 곡선은 절충에 대한 포괄적인 시각을 제공하여 실무자가 애플리케이션의 우선순위에 맞는 임계값을 선택할 수 있게 합니다.