Co-trainingは、1998年にAvrim BlumとTom Mitchellによって導入された半教師あり学習アルゴリズムである。これは、特徴量が自然に2つの条件付き独立なビューに分割できる場合に、ラベルなしデータを活用することで、限られたラベル付きデータの課題に対処する。この手法は、これらのビューに対して2つの別々の分類器を訓練し、各分類器のラベルなしデータに対する高信頼度の予測を、もう一方の訓練セットの拡張に使用し、反復的に両モデルを改善する。
このアプローチは、各ビューが単独で学習するのに十分であり、ビューがクラスラベルを与えられた条件下で条件付き独立であるという仮定に基づいている。実際には、これはウェブページ分類などの領域で成り立ち、ページ上のテキストと、それを指すハイパーリンクのアンカーテキストが、異なるが補完的なシグナルを提供する。Co-trainingは後の半教師あり手法に影響を与え、Machine learning研究における基礎的な概念であり続けている。
アルゴリズムとメカニズム
Co-trainingは、各々が単一のビュー（例えば、ビューAとビューB）からの特徴量を含む2つのラベル付きデータセットから始まる。2つの基本分類器（多くの場合、Naive BayesやDecision Treesモデル）が、これらのラベル付きセットで独立に訓練される。各反復で、各分類器は、最も高い信頼度（通常は予測確率で測定）を持つ少数のラベルなし例を選択し、それらに擬似ラベルを割り当てる。これらの新たにラベル付けされた例は、その後、もう一方の分類器の訓練セットに追加され、両分類器が再訓練される。
このプロセスは、固定回数の反復または高信頼度の予測が残らなくなるまで繰り返される。重要なのは、各分類器が、単独では遭遇しなかったであろう「新しい」ラベル付きデータをもう一方に提供し、人間によるアノテーションなしで訓練プールを効果的に拡張することである。BlumとMitchellによる理論的分析は、ビューが条件付き独立で各々が十分である場合、co-trainingは非常に少ない初期ラベルでも精度を向上させることができることを示した。
応用と領域
Co-trainingは、マルチビューデータが自然に存在する様々な分野で応用されている。自然言語処理では、Named-entity recognitionやSentiment Analysisなどのタスクに使用され、一方のビューが単語レベルの特徴量、もう一方が構文または位置の特徴量となる場合がある。コンピュータビジョンでは、co-trainingはオブジェクト分類のために色ヒストグラムとテクスチャ記述子を組み合わせることができる。バイオインフォマティクスでは、異なる測定プラットフォームをビューとして使用して遺伝子発現データを分類するために使用されている。
典型的な例はウェブページ分類である：ページのテキストコンテンツとインバウンドリンクのアンカーテキストが2つのビューを形成する。BlumとMitchellによる初期の研究は、co-trainingが、少数のラベル付きページと多数のラベルなしページのみを使用して、学術コースのホームページを高精度で分類できることを実証した。この応用は、ラベル付けが高価であるがラベルなしデータが豊富な設定におけるこの手法の実用的価値を強調した。
拡張と変種
co-trainingの厳格な仮定を緩和するために、いくつかの拡張が提案されている。tri-trainingは3つの分類器と多数決を使用して擬似ラベルを割り当て、ビュー分割の必要性を減らす。co-regularizationは、ラベルなしデータ上の分類器間の一致を促すペナルティ項を追加する。democratic-co-learningは、異なる特徴ビューではなく異なるアルゴリズムを持つ複数の学習器にアイデアを一般化する。
別の変種であるself-trainingは、1つの分類器が自身の高信頼度予測にラベルを付けるより単純な単一ビューアプローチであるが、エラー伝播の影響を受けやすい。Co-trainingのマルチビュー設計は、独立仮定が成り立つ場合、各分類器がもう一方の誤りを修正することでこれを軽減する。研究者はまた、異なるアーキテクチャまたは入力変換を持つニューラルネットワークが2つのビューとして機能する深層学習適応も探求している。
理論的基盤と限界
co-trainingの理論的保証は、ラベルが与えられた条件下でのビューの条件付き独立性に依存している。実際には、この仮定はしばしば違反され、性能の低下につながる。ビューが相関している場合、分類器は互いの誤りを強化し、確証バイアスを引き起こす可能性がある。実証研究は、独立仮定が近似的に満たされる場合、co-trainingは依然としてうまく機能するが、高度に相関した特徴を持つデータセットでは単純なself-trainingよりも劣る可能性があることを示している。
もう一つの限界は、自然な特徴分割の必要性であり、これは常に利用可能とは限らない。そのような場合、実務者はランダムな特徴分割を使用することがあるが、これは理論的正当性を弱めることが多い。この手法はまた、信頼度しきい値と反復ごとに追加される例の数の慎重な調整を必要とし、過度に積極的なラベル付けはノイズを導入する可能性がある。これらの課題にもかかわらず、co-trainingは半教師あり学習文献におけるベンチマークであり、より堅牢なアルゴリズムの構成要素であり続けている。
現代の半教師あり学習との関係
Deep learningの台頭に伴い、co-trainingは最先端モデルで使用されるconsistency-regularizationや擬似ラベル付けなどの現代的なアプローチに影響を与えた。mixmatchやfixmatchなどの技術は、データ拡張を通じて複数のビューを組み合わせ、予測の一貫性を強制し、異なる視点間の一致を活用するというco-trainingの核心的なアイデアを反映している。この概念はまた、モデルが複数のモダリティや特徴セットから学習するRepresentation learningにおけるマルチビュー学習とも一致する。
Large language modelの時代では、co-trainingの原理は、報酬予測とポリシー生成のための別々のモデルが反復的に互いを洗練する強化学習からの人間のフィードバック（Reinforcement Learning from AI Feedback (RLAIF)）パイプラインに現れている。現代の手法はしばしば大規模なラベルなしコーパスにスケールするが、多様なビューが監視シグナルを提供できるというco-trainingの基礎的な洞察は、学術的および産業的設定の両方でアルゴリズム設計に情報を与え続けている。