혼동 행렬(confusion matrix)은 오류 행렬(error matrix)이라고도 불리며, 특정 작업에 대한 사람 또는 알고리즘의 성능을 시각화할 수 있도록 하는 특정 표 형태이다. 머신 러닝에서 이러한 행렬은 지도 학습과 비지도 학습 모두에서 학습 시스템의 성공 여부를 보여주며, 일부에서는 매칭 행렬(matching matrix)이라고도 부른다. 이 이름은 행렬을 통해 시스템이 두 클래스를 혼동하는지, 즉 한 클래스를 다른 클래스로 잘못 분류하는지 여부를 쉽게 식별할 수 있다는 점에서 유래하였다.
혼동 행렬의 기원은 청각 자극에 대한 인간의 지각 연구에서 찾을 수 있다. 이후 머신 러닝 연구에 적용되어 Frank Rosenblatt과 같은 초기 연구자들이 시각 및 청각 자극에 대한 인간과 기계의 분류 결과를 비교하는 데 사용하였다. 이는 "실제"와 "예측"이라는 두 차원을 가지며, 두 차원 모두 동일한 클래스 집합을 갖는 특수한 형태의 분할표(contingency table)이다. 행렬의 각 행은 실제 클래스에 속하는 인스턴스를 나타내고, 각 열은 예측 클래스에 속하는 인스턴스를 나타낸다(또는 사용되는 규약에 따라 그 반대일 수도 있다). 따라서 행렬의 대각선은 올바르게 예측된 모든 인스턴스를 나타낸다.
이진 분류 예시
12명의 표본을 가정해 보자. 그중 8명은 암으로 진단되었고(클래스 1, 양성), 4명은 암이 아니다(클래스 0, 음성). 분류기는 개인이 암에 걸렸는지 여부를 구분한다. 분류기를 12명의 표본에 적용한 결과, 9개의 정확한 예측을 하고 3개를 놓쳤다고 가정한다. 즉, 암 환자 2명은 암이 아닌 것으로 잘못 예측되었고, 암이 아닌 사람 1명은 암에 걸린 것으로 잘못 예측되었다.
실제 분류와 예측 분류를 비교하면 네 가지 가능한 결과가 나온다.
- 진양성(True Positive, TP): 실제 양성이고 예측도 양성인 경우.
- 위음성(False Negative, FN): 실제 양성이지만 예측은 음성인 경우.
- 위양성(False Positive, FP): 실제 음성이지만 예측은 양성인 경우.
- 진음성(True Negative, TN): 실제 음성이고 예측도 음성인 경우.
이러한 결과는 2×2 혼동 행렬로 정리할 수 있다. 위의 예시를 행렬로 나타내면 다음과 같다.
| 예측 양성 | 예측 음성 | |
|---|---|---|
| 실제 양성 | 6 (TP) | 2 (FN) |
| 실제 음성 | 1 (FP) | 3 (TN) |
모든 올바른 예측은 대각선에 위치하며, 오류는 대각선 밖에 나타나므로 쉽게 찾아볼 수 있다. 행의 합계를 구하면 데이터 세트에 있는 실제 양성(P = TP + FN) 및 실제 음성(N = FP + TN)의 총 개수를 알 수 있다.
혼동 행렬의 표
예측 분석에서 혼동 행렬(때로는 혼동 표라고도 함)은 진양성, 위음성, 위양성, 진음성의 개수를 보고하는 2×2 표이다. 이는 단순히 정확도(accuracy)만을 관찰하는 것보다 더 자세한 분석을 가능하게 한다. 특히 데이터 세트가 불균형한 경우 정확도는 오해의 소지가 있을 수 있다. 예를 들어, 암 표본 95개와 비암 표본 5개가 있는 데이터 세트에서 모든 경우를 암으로 분류하는 분류기는 95%의 정확도를 보이지만, 비암 클래스에 대한 민감도(sensitivity)는 0%이다. F1 점수와 같은 지표도 편향될 수 있다. 이러한 편향을 제거하는 지표가 정보성(informedness)이며, 어떤 형태의 추측에도 0의 값을 가진다. Davide Chicco와 Giuseppe Jurman에 따르면, 혼동 행렬을 평가하는 가장 유용한 지표는 매튜 상관 계수(Matthews correlation coefficient, MCC)이다.
일부 연구자들은 혼동 행렬과 그 파생 지표가 모델의 지식을 완전히 반영하지 못한다고 주장한다. 행렬은 올바른 예측이 건전한 추론에 의한 것인지 우연에 의한 것인지(인식론적 행운)를 보여줄 수 없으며, 예측에 사용된 사실이 이후에 변경되는 상황(가정 철회 가능성)도 포착하지 못한다. 따라서 혼동 행렬은 유용하지만, 모델의 실제 신뢰도에 대한 불완전한 그림을 제공할 수 있다.
다중 클래스 혼동 행렬
혼동 행렬은 이진 분류에만 국한되지 않으며 다중 클래스 분류기에서도 사용할 수 있다. 클래스가 k개인 분류기의 경우, 행렬은 k개의 행과 k개의 열을 가지며, 각 셀 (i, j)는 실제 클래스 i에 속하면서 클래스 j로 예측된 인스턴스의 수를 나타낸다. 대각선은 올바른 예측을 나타내고, 대각선 밖의 셀은 잘못 분류된 경우를 보여준다. 이러한 구조는 어떤 클래스들이 서로 자주 혼동되는지 파악하는 데 도움을 준다.
파생 지표
혼동 행렬로부터 여러 성능 지표를 계산할 수 있다.
- 정확도(Accuracy): (TP + TN) / (TP + TN + FP + FN)
- 정밀도(Precision): TP / (TP + FP)
- 재현율(Recall) 또는 민감도(Sensitivity): TP / (TP + FN)
- 특이도(Specificity): TN / (TN + FP)
- F1 점수(F1 score): 정밀도와 재현율의 조화 평균
- 매튜 상관 계수(MCC): 4개 셀(TP, TN, FP, FN)을 모두 고려하는 균형 잡힌 측정값
이러한 지표들은 특히 불균형 데이터 세트에서 분류기 성능에 대한 다양한 관점을 제공한다.
머신 러닝에서의 응용
혼동 행렬은 Machine learning 분야에서 분류기를 평가하는 데 널리 사용된다. 여기에는 Neural network 모델과 Deep learning 시스템이 포함된다. 의료 진단, 스팸 메일 탐지, 이미지 인식과 같은 분야에서 필수적인 도구이다. 예를 들어, Artificial intelligence 연구에서는 혼동 행렬을 사용하여 클래스별 모델 성능을 비교하고, 이를 통해 모델 아키텍처 개선이나 학습 데이터 보강과 같은 방향을 제시한다.
한계 및 비판
혼동 행렬은 유용함에도 불구하고 몇 가지 한계를 가진다. 이는 예측 뒤에 숨은 추론 과정을 포착하지 못하며, 고정된 실제 값(ground truth)을 가정한다. 그러나 실제 환경에서는 시간이 지남에 따라 실제 값이 변할 수 있다. 예를 들어, Large language model의 출력을 평가하는 경우, 정답이 상황에 따라 달라지거나 업데이트될 수 있다. 이러한 동적 환경에서는 혼동 행렬이 모델의 정확성을 제대로 반영하지 못할 수 있다. 또한, 클래스 간 불균형이 심한 데이터 세트에서는 정확도나 F1 점수 같은 지표가 오해를 불러일으킬 수 있으며, 이 경우 MCC나 정보성과 같은 지표를 사용하는 것이 더 적절할 수 있다.
역사적 배경
혼동 행렬의 개념은 청각학(audiology)에서 인간의 청각 지각에 대한 연구에서 비롯되었다. 특히, 사람이 특정 단어나 소리를 어떻게 듣고 인식하는지를 측정하는 데 사용되었다. 이후 Frank Rosenblatt과 같은 초기 머신 러닝 연구자들이 퍼셉트론(perceptron)과 같은 모델의 성능을 인간의 분류 능력과 비교하기 위해 이 개념을 차용하였다. 이는 기계와 인간의 인지 능력을 비교하는 다리 역할을 했으며, 오늘날까지 머신 러닝 모델 평가의 표준적인 도구로 자리 잡았다.
같이 보기
- Machine learning
- Neural network
- Deep learning
- Artificial intelligence
- Supervised learning
- Unsupervised learning
- classification
- Precision and Recall
- matthews-correlation-coefficient