비지도 학습은 기계 학습의 한 범주로, 모델에 레이블이 없는 출력 데이터만 주어지고 스스로 구조, 패턴 또는 군집을 발견해야 하며, 지도 학습에서처럼 알려진 정답을 재현하도록 훈련되지 않는다. 비지도 방법은 인간이 주석을 단 레이블을 요구하지 않으므로, 구조화되지 않은 텍스트, 이미지 또는 거래 로그와 같이 세계에 존재하는 방대한 양의 원시 비레이블 데이터에 직접 적용될 수 있으며, 이는 레이블링이 비싸거나, 느리거나, 또는 규모상 불가능한 곳에서 매력적인 접근 방식이 된다.
핵심 작업
가장 일반적인 비지도 작업은 클러스터링으로, 사전 정의된 범주 없이 유사한 데이터 포인트를 함께 그룹화하며, k-평균 또는 계층적 클러스터링과 같은 알고리즘을 사용한다. 예를 들어 소매업체는 결과 세그먼트가 무엇인지 사전에 알지 못한 채 구매 행동에 따라 고객을 클러스터링할 수 있다. 주성분 분석과 오토인코더를 포함한 차원 축소 기법은 고차원 데이터를 더 적은 수의 변수로 압축하면서 가능한 한 기본 구조를 보존하며, 종종 시각화 또는 다른 모델의 전처리 단계로 유용하다. 이상 탐지는 비지도 방법을 사용하여 데이터 세트의 대부분과 크게 다른 데이터 포인트를 표시하며, 사기 탐지 및 산업 모니터링에 적용된다. 생성적 적대 신경망과 확산 모델로 예시되는 밀도 추정 및 생성 모델링은 데이터 세트의 기본 확률 분포를 충분히 학습하여 그로부터 새롭고 현실적인 샘플을 생성한다.
역사
클러스터링 및 주성분 분석과 같은 비지도 기법은 현대 기계 학습 이전부터 통계학에 뿌리를 두고 있으며, 1980년대 존 홉필드가 개발한 초기 오토인코더와 홉필드 네트워크를 포함한 신경망 기반 비지도 학습 접근 방식은 딥러닝 시대보다 앞선다. 그러나 2000년대와 2010년대 초반의 대부분 동안 대규모 레이블 데이터 세트에 대한 지도 학습은 대부분의 실용적 벤치마크에서 비지도 접근 방식을 능가했으며, 비지도 학습은 주로 탐색적 분석 도구 또는 전처리 단계로 간주되었고 최첨단 결과를 위한 경로로는 여겨지지 않았다.
자기 지도 학습과의 관계
비지도 학습과 자기 지도 학습의 구분은 빈번한 혼란의 원인이다. 자기 지도 학습은 때때로 비지도 학습의 하위 집합 또는 현대적 재구성으로 설명된다. 둘 다 레이블이 없는 데이터로 작업하지만, 자기 지도 방법은 데이터 자체에서 명시적이고 자동으로 생성된 예측 작업을 구성한다. 예를 들어 마스킹된 단어 또는 시퀀스의 다음 토큰을 예측하는 것이며, 이는 인간이 데이터에 레이블을 붙인 적이 없음에도 지도 학습과 메커니즘이 유사한 명확한 훈련 신호를 제공한다. 이 구분은 클러스터링이나 차원 축소 의미의 고전적 비지도 학습이 아니라 자기 지도 사전 훈련이 현대 대규모 언어 모델 및 기타 기반 모델의 훈련을 가능하게 하기 때문에 중요하다.
응용 및 중요성
비지도 학습은 탐색적 데이터 분석, 고객 세분화, 토픽 모델링, 추천 시스템 사전 훈련, 그리고 이상 및 사기 탐지 파이프라인의 구성 요소로 여전히 널리 사용된다. 딥러닝에서 특히 생성적 분야인 GAN과 이후의 확산 모델은 자연 이미지 공간과 같은 복잡한 데이터 분포를 학습하고 샘플링함으로써 현대 텍스트-이미지 및 텍스트-비디오 시스템의 기반이 되었다.
한계
비지도 학습은 확인할 실제 정답이 없기 때문에 결과를 평가하는 것이 본질적으로 지도 모델을 평가하는 것보다 더 어렵고 주관적이다. 클러스터링 결과는 분류 예측처럼 단순히 "정확" 또는 "부정확"으로 점수를 매길 수 없으며, 동일한 데이터에 적용된 서로 다른 비지도 알고리즘은 의미 있게 다르고 동등하게 방어 가능한 그룹화를 생성할 수 있다. 이러한 모호성은 특히 언어 및 이미지 생성에서 이 분야의 가장 큰 최근 성공이 고전적 비지도 클러스터링 및 밀도 추정 방법보다 더 구조화된 자기 지도 패러다임에 의존해 온 이유의 일부이다.