인스턴스 선택(Instance selection)은 데이터셋 축소(dataset reduction) 또는 데이터셋 응축(dataset condensation)이라고도 불리며, 많은 머신러닝 및 데이터 마이닝 작업에서 적용되는 데이터 전처리 단계이다. 주요 목적은 원본 데이터셋을 관리 가능한 규모로 줄여 학습 과정에 필요한 계산 자원을 낮추는 것이다. 또한 인스턴스 선택 알고리즘은 학습 전에 노이즈 인스턴스를 제거할 수 있어 분류 문제에서 정확도를 향상시킬 수 있다. 최적의 결과는 전체 데이터셋을 사용할 때와 비교하여 성능 손실 없이 동일한 작업을 달성하는 최소 데이터 부분집합이며, 이는 축소율과 분류 품질 사이의 절충을 요구한다.
알고리즘 범주
인스턴스 선택 알고리즘은 보존하는 인스턴스 유형에 따라 그룹화된다. 한 부류는 클래스 결정 경계 근처에 있는 경계 인스턴스(boundary instances)에 초점을 맞춘다. 이 그룹의 알고리즘에는 DROP3, ICF, LSBo가 포함된다. 다른 부류는 각 클래스의 중심에 있는 내부 인스턴스(internal instances)를 보존하며, 예로는 ENN과 LSSm이 있다. 이러한 내부 선택 알고리즘은 유해하거나 노이즈가 있는 인스턴스를 필터링하는 데 자주 사용되며, 경계 선택 방법의 전처리 단계로 사용될 수 있다. 예를 들어, ENN은 DROP3의 첫 번째 단계이고, LSSm은 LSBo에 사용된다.
세 번째 범주는 임의의 이웃 내에서 가장 밀집된 인스턴스를 선택하며, 경계 및 내부 지점을 모두 포함할 수 있다. LDIS, CDIS, XLDIS와 같은 알고리즘이 여기에 속한다. LDIS와 CDIS는 단순하며 원본 데이터를 매우 잘 대표하는 부분집합을 생성한다. 각 클래스 내에서 대표 인스턴스를 별도로 검색하기 때문에 DROP3 및 ICF와 같은 알고리즘보다 시간 복잡도와 실제 실행 시간에서 더 빠르다.
프로토타입 기반 접근법
일부 알고리즘은 실제 인스턴스를 선택하지 않고 합성 프로토타입을 생성한다. PSSA, PSDSP, PSSP는 공간 분할(spatial partition), 특히 하이퍼렉탱글(hyperrectangle)의 개념을 사용하여 유사한 인스턴스를 식별하고 각 그룹에 대한 프로토타입을 추출한다. 이러한 접근법은 실제 인스턴스를 선택하도록 적응될 수 있으며, ISDSP 알고리즘은 유사한 전략을 따르지만 프로토타입 대신 실제 인스턴스를 선택한다.
응용 및 절충
인스턴스 선택은 훈련 시간과 메모리 사용량이 중요한 문제인 대규모 데이터셋 시나리오에서 유용하다. 데이터셋을 줄임으로써 모델 훈련을 더 빠르게 하고 노이즈를 제거하여 일반화를 향상시킬 수 있다. 그러나 과도한 축소는 정보가 있는 인스턴스를 잃을 위험이 있어 분류 성능을 저하시킬 수 있다. 축소율과 정확도 사이의 균형은 모든 인스턴스 선택 전략을 평가하는 데 핵심이다.
다른 기법과의 관계
인스턴스 선택은 데이터셋을 확장하기 위해 새로운 합성 샘플을 생성하는 데이터 증강 및 훈련 후 모델 복잡성을 줄이는 모델 가지치기와 구별된다. 또한 인스턴스가 아닌 속성 수를 줄이는 특징 선택(feature selection)과도 다르다. 실제로 인스턴스 선택은 전체 머신러닝 파이프라인을 최적화하기 위해 다른 전처리 단계와 결합되는 경우가 많다.
평가 및 실용적 고려 사항
일반적인 평가 지표에는 제거된 인스턴스의 비율을 측정하는 축소율과 보류된 테스트 세트에서의 분류 정확도가 포함된다. 알고리즘 선택은 데이터 분포와 노이즈 제거 대 최대 축소와 같은 특정 목표에 따라 달라진다. ENN과 같은 알고리즘은 노이즈가 있는 데이터셋을 정리하는 데 효과적이며, DROP3와 같은 경계 기반 방법은 중요한 결정 경계를 유지하는 것을 목표로 한다. 선택 과정 자체의 계산 비용도 요소이며, 매우 큰 데이터셋에서는 LDIS와 같은 더 단순한 방법이 선호된다.
향후 방향
연구는 특히 고차원 데이터 및 딥러닝 응용을 위한 더 효율적이고 확장 가능한 인스턴스 선택 방법을 계속 탐구하고 있다. 데이터셋을 줄여 훈련을 가속화하면서도 정확도 손실을 최소화할 수 있는 신경망 훈련 파이프라인과의 통합에 대한 관심이 있다. 데이터셋의 크기와 복잡성이 증가함에 따라 인스턴스 선택은 인공지능 시스템에서 계산 자원을 관리하는 데 여전히 관련 있는 도구로 남아 있다.