Co-training은 1998년 Avrim Blum과 Tom Mitchell이 도입한 준지도 학습 알고리즘이다. 이 알고리즘은 특징이 두 개의 조건부 독립적인 관점으로 자연스럽게 분할될 수 있을 때, 라벨이 없는 예시를 활용하여 제한된 라벨 데이터의 문제를 해결한다. 이 방법은 이러한 관점에 대해 두 개의 분리된 분류기를 훈련시키며, 각 분류기의 라벨이 없는 데이터에 대한 높은 신뢰도의 예측은 다른 분류기의 훈련 세트를 보강하는 데 사용되어 두 모델을 반복적으로 개선한다.
이 접근 방식은 각 관점이 자체적으로 학습하기에 충분하고, 클래스 라벨이 주어졌을 때 관점들이 조건부 독립적이라는 가정에 기반한다. 실제로 이는 웹 페이지 분류와 같은 영역에서 성립하는데, 페이지의 텍스트와 페이지를 가리키는 하이퍼링크의 앵커 텍스트가 서로 구별되지만 보완적인 신호를 제공하기 때문이다. Co-training은 이후의 준지도 기법에 영향을 미쳤으며 머신 러닝 연구에서 여전히 기본적인 개념으로 남아 있다.
알고리즘 및 메커니즘
Co-training은 각각 단일 관점(예: 관점 A와 관점 B)의 특징을 포함하는 두 개의 라벨이 있는 데이터 세트로 시작한다. 두 개의 기본 분류기(종종 나이브 베이즈 또는 의사 결정 트리 모델)는 이러한 라벨이 있는 세트에 대해 독립적으로 훈련된다. 각 반복에서 각 분류기는 가장 높은 신뢰도(일반적으로 예측 확률로 측정)를 가진 소수의 라벨이 없는 예시를 선택하고 의사 라벨을 할당한다. 새로 라벨이 지정된 이러한 예시는 다른 분류기의 훈련 세트에 추가되며 두 분류기는 재훈련된다.
이 과정은 고정된 반복 횟수 또는 높은 신뢰도의 예측이 더 이상 없을 때까지 반복된다. 핵심은 각 분류기가 다른 분류기에 혼자서는 만나지 못했을 '새로운' 라벨 데이터를 제공하여 인간의 주석 없이 훈련 풀을 효과적으로 확장한다는 것이다. Blum과 Mitchell의 이론적 분석은 관점이 조건부 독립적이고 각각 충분하다면 co-training이 매우 적은 초기 라벨로도 정확도를 높일 수 있음을 보여주었다.
응용 분야 및 영역
Co-training은 다중 관점 데이터가 자연스럽게 존재하는 다양한 분야에 적용되었다. 자연어 처리에서는 개체명 인식 및 감성 분석과 같은 작업에 사용되었는데, 여기서 한 관점은 단어 수준 특징이고 다른 관점은 구문 또는 위치 특징일 수 있다. 컴퓨터 비전에서는 co-training이 객체 분류를 위해 색상 히스토그램과 질감 설명자를 결합할 수 있다. 생물정보학에서는 서로 다른 측정 플랫폼을 관점으로 사용하여 유전자 발현 데이터를 분류하는 데 사용되었다.
전형적인 예는 웹 페이지 분류이다. 페이지의 텍스트 콘텐츠와 인바운드 링크의 앵커 텍스트가 두 관점을 형성한다. Blum과 Mitchell의 초기 연구는 co-training이 소수의 라벨이 있는 페이지와 많은 라벨이 없는 페이지만으로 학술 과정 홈페이지를 높은 정확도로 분류할 수 있음을 보여주었다. 이 응용은 라벨링 비용이 높지만 라벨이 없는 데이터가 풍부한 환경에서 이 방법의 실용적 가치를 강조했다.
확장 및 변형
Co-training의 엄격한 가정을 완화하기 위해 여러 확장이 제안되었다. tri-training은 세 개의 분류기와 다수결 투표를 사용하여 의사 라벨을 할당함으로써 관점 분할의 필요성을 줄인다. co-regularization은 라벨이 없는 데이터에 대한 분류기 간의 일치를 장려하기 위해 페널티 항을 추가한다. democratic-co-learning은 서로 다른 특징 관점이 아닌 서로 다른 알고리즘을 가진 여러 학습자로 아이디어를 일반화한다.
또 다른 변형인 self-training은 하나의 분류기가 자신의 높은 신뢰도 예측에 라벨을 지정하는 더 단순한 단일 관점 접근 방식이지만 오류 전파에 더 취약하다. Co-training의 다중 관점 설계는 독립성 가정이 성립한다면 각 분류기가 다른 분류기의 실수를 교정함으로써 이를 완화한다. 연구자들은 서로 다른 아키텍처나 입력 변환을 가진 신경망이 두 관점 역할을 하는 딥 러닝 적응도 탐구했다.
이론적 기초 및 한계
Co-training의 이론적 보장은 라벨이 주어졌을 때 관점의 조건부 독립성에 의존한다. 실제로 이 가정은 종종 위반되어 성능 저하로 이어진다. 관점이 상관되어 있을 때 분류기는 서로의 오류를 강화하여 확인 편향을 유발할 수 있다. 경험적 연구는 독립성 가정이 대략적으로 충족될 때 co-training이 여전히 잘 작동할 수 있지만, 고도로 상관된 특징을 가진 데이터 세트에서는 단순한 self-training보다 성능이 떨어질 수 있음을 보여주었다.
또 다른 한계는 자연스러운 특징 분할의 필요성인데, 이는 항상 가능한 것은 아니다. 이러한 경우 실무자는 무작위 특징 분할을 사용할 수 있지만 이는 종종 이론적 근거를 약화시킨다. 이 방법은 또한 신뢰도 임계값과 반복당 추가되는 예시 수의 신중한 조정이 필요하며, 지나치게 공격적인 라벨링은 노이즈를 도입할 수 있다. 이러한 어려움에도 불구하고 co-training은 준지도 학습 문헌에서 벤치마크로 남아 있으며 더 견고한 알고리즘을 위한 구성 요소로 남아 있다.
현대 준지도 학습과의 관계
딥 러닝의 부상과 함께 co-training은 최첨단 모델에서 사용되는 consistency-regularization 및 pseudo-labeling과 같은 현대적 접근 방식에 영감을 주었다. mixmatch 및 fixmatch와 같은 기법은 데이터 증강을 통해 여러 관점을 결합하고 예측 일관성을 강제하며, 이는 서로 다른 관점 간의 일치를 활용하는 co-training의 핵심 아이디어를 반영한다. 이 개념은 표현 학습의 다중 관점 학습과도 일치하며, 여기서 모델은 여러 양식이나 특징 세트에서 학습한다.
대규모 언어 모델 시대에 co-training 원리는 보상 예측과 정책 생성을 위한 별도의 모델이 서로를 반복적으로 개선하는 인간 피드백 기반 강화 학습 파이프라인에 나타난다. 현대 방법은 종종 대규모 라벨이 없는 말뭉치로 확장되지만, 다양한 관점이 감독 신호를 제공할 수 있다는 co-training의 기본 통찰력은 학계와 산업 환경 모두에서 알고리즘 설계에 계속 영향을 미치고 있다.