범주 효용(category utility)은 개념 군집화(conceptual clustering)와 기계 학습에서 객체를 그룹으로 분류하거나 범주화하는 품질을 평가하는 데 사용되는 수치적 측도이다. 이는 객체의 범주를 알 때 해당 객체의 속성을 예측하는 능력이 범주를 모를 때보다 얼마나 향상되는지를 정량화한다. 이 지표는 1985년 Mark A. Gluck과 James E. Corter가 정보 이득 또는 예측력을 최대화하는 범주 형성을 안내하기 위한 수단으로 도입했다. 이후 이는 비지도 학습 작업, 특히 분류 체계를 구축하거나 계층적 분류를 생성하는 시스템에서 표준적인 목적 함수가 되었다.
기본 아이디어는 좋은 범주란 객체가 그 범주에 속한다는 것을 알 때 해당 객체의 특징이 더 예측 가능해지는 것이다. 범주 효용은 두 가지 직관적 기준을 결합한다: 같은 범주 내 객체들이 많은 공통 속성을 가져야 하는 범주 내 유사성, 그리고 서로 다른 범주에 속한 객체들이 달라야 하는 범주 간 비유사성이다. 이 지표는 이러한 기준을 확률적 프레임워크에서 공식화하여 잡음이 있거나 불완전한 데이터에도 적용할 수 있게 한다. 단순한 정확도나 순수도 측도와 달리 범주 효용은 속성 예측의 불확실성을 고려하여 엔트로피를 줄이는 범주에 보상을 준다.
공식 정의 및 계산
범주 효용은 각 범주의 확률과 범주가 주어졌을 때 속성 값의 조건부 확률을 기반으로 계산된다. 이진 또는 명목 속성으로 설명되는 객체 집합의 경우, 이 지표는 범주를 알 때 속성 값을 올바르게 예측할 확률의 기대 증가분에서 범주 정보 없이 예측하는 기준 확률을 뺀 값으로 정의된다. 이는 모든 속성에 대해 합산되고 각 범주의 사전 확률로 가중된다.
실제로 두 범주 경우에서 범주 효용은 각 범주 내 공유 특징 수와 범주 간 공유 특징 수 사이의 균형으로 단순화된다. 공식은 종종 CU = (1/n) 범주에 대한 합 P(C) [속성에 대한 합 값에 대한 합 (P(A=a|C)^2 - P(A=a)^2)]로 표현되며, 여기서 n은 속성 수이다. 확률의 제곱은 범주에서 무작위로 추출된 두 객체가 속성 값을 공유할 확률을 반영하며, 이는 인지 심리학의 기본 수준 범주에 대한 Gluck과 Corter의 연구에서 나온 핵심 통찰이다.
개념 군집화에서의 사용
범주 효용은 여러 개념 군집화 알고리즘, 특히 1987년 University of Toronto의 Douglas Fisher가 개발한 COBWEB 시스템에서 핵심 평가 함수 역할을 한다. COBWEB은 범주 효용을 사용하여 각 새 객체를 어디에 배치할지, 기존 범주를 병합하거나 분할할지, 또는 새 범주를 만들지 결정하면서 의사 결정 트리 또는 범주 계층을 점진적으로 구축한다. 범주 효용을 최대화하는 분할에 대한 알고리즘의 탐욕적 검색은 범주 수에 대한 사전 지식 없이 해석 가능한 확률적 개념 계층을 생성할 수 있게 한다.
이 효용 함수는 다른 군집화 방법에도 영향을 주었으며 데이터 마이닝 및 패턴 인식과 같은 분야에서 채택되었다. 예를 들어, 전통적인 거리 측도가 실패할 수 있는 고차원 데이터 군집화에 사용된다. 이 지표의 확률적 기반은 관찰된 속성에 대해서만 기대값을 계산하므로 결측값 처리를 특히 적합하게 만든다.
정보 이론 및 심리학과의 관계
범주 효용의 개념은 정보 이론과 깊은 연관이 있다. 이는 범주 변수와 속성 변수 사이의 상호 정보로 해석될 수 있으며, 상수로 스케일링된다. 실제로 Gluck과 Corter는 이를 G-지수와 밀접하게 관련된 범주 "응집성" 측도에서 유도했다. 이 이론적 연결은 특징 선택 및 군집화 솔루션 평가 기준으로서의 사용을 정당화하는 데 도움이 되며, 범주화가 객체 속성에 대한 불확실성을 얼마나 줄이는지 직접 정량화한다.
범주 효용은 원래 인간이 가장 자연스럽게 여기는 추상화 수준인 기본 수준 범주(예: "개" vs. "동물" 또는 "비글")에 대한 인지 과학 연구에서 동기 부여되었다. Gluck과 Corter의 실험은 기본 수준이 가장 높은 범주 효용을 가진 범주에 해당함을 보여주었으며, 이는 이 측도가 심리학적으로 관련된 원리를 포착함을 시사한다. 이 연결은 Artificial intelligence 및 Machine learning에서 인간과 유사한 개념 학습을 연구하는 연구자들, 특히 MIT CSAIL 및 Stanford AI Lab과 같은 기관의 연구자들에게 관심을 받아 왔다.
확장 및 개선
도입 이후 범주 효용의 한계를 해결하거나 특정 도메인에 적응시키기 위해 여러 확장이 제안되었다. 한 확장은 종종 정규 분포를 가정하고 들어오는 데이터로 업데이트되는 확률 밀도 추정을 사용하여 연속 속성을 처리한다. 또 다른 수정은 속성 가중치를 통합하여 일부 특징이 다른 특징보다 효용 계산에 더 많이 기여하도록 하며, 이는 도메인 지식이 특정 속성이 더 중요함을 나타낼 때 유용하다.
Deep learning 및 현대 Artificial intelligence의 맥락에서 범주 효용은 잠재 특징을 해석 가능한 클러스터로 구성하는 비지도 표현 학습의 대안적 목적 함수로 고려되었다. 그러나 그 사용은 분산 표현을 학습하는 Generative AI 및 Transformer (architecture) 기반 모델과 같은 대규모 접근 방식에 의해 대체되었다. 그럼에도 불구하고 Figure AI의 로봇 공학이나 Commure의 의료 데이터 분석과 같이 설명 가능한 그룹화가 필요한 작업에서 범주 효용은 여전히 블랙박스 군집화에 대한 원칙적이고 투명한 대안을 제공한다.
한계 및 비판
범주 효용은 단점이 없는 것은 아니다. 이는 범주가 주어졌을 때 속성이 독립적이라고 가정하는데, 이는 특징이 상관된 실제 데이터에서 종종 위반되는 강한 가정이다. 이 지표는 범주 사전 확률로 가중되기 때문에 거의 동일한 크기의 범주를 선호하며, 이는 불균형 데이터 세트에서 바람직하지 않을 수 있다. 또한 확률의 제곱은 속성 값 빈도에 민감하여 일부 조건에서 희귀 값에 대한 편향을 초래할 수 있다.
이러한 문제에도 불구하고 범주 효용은 군집화 및 개념 학습의 많은 후속 발전을 위한 토대를 마련한 역사적으로 중요한 지표로 남아 있다. 단순한 유사성이 아닌 예측 효용에 대한 강조는 Machine learning 및 Artificial intelligence의 더 넓은 목표, 즉 의미 있는 추상화를 통해 보이지 않는 데이터에 일반화되는 모델 구축과 일치한다. 오늘날에도 이는 인지 모델링 및 비지도 학습에 관한 많은 대학원 과정에서 가르쳐지며 지속적인 영향을 보장한다. 미래 연구는 분류에 대한 더 해석 가능하고 확률적인 접근 방식을 추구하는 분야에서 이 지표를 재검토할 수 있으며, BAIR (Berkeley AI Research) 또는 Xerox PARC와 같은 기초 알고리즘이 자주 재평가되는 연구소에서 잠재적으로 이루어질 수 있다.