协同训练是一种半监督学习算法，由Avrim Blum和Tom Mitchell于1998年提出。它通过利用未标记示例来解决标记数据有限的问题，前提是特征可以自然地划分为两个条件独立的视图。该方法在这两个视图上分别训练两个分类器，每个分类器对未标记数据的高置信度预测被用来扩充另一个分类器的训练集，从而迭代地改进两个模型。
该方法基于以下假设：每个视图本身足以进行学习，并且在给定类别标签的条件下，各视图之间条件独立。在实践中，这一假设适用于诸如网页分类等领域，其中页面上的文本和指向该页面的超链接锚文本提供了不同但互补的信号。协同训练影响了后来的半监督技术，并仍是Machine learning研究中的一个基础概念。
算法与机制
协同训练首先需要两个标记数据集，每个数据集包含来自单一视图的特征（例如，视图A和视图B）。两个基础分类器（通常是Naive Bayes或Decision Trees模型）在这些标记集上独立训练。在每次迭代中，每个分类器选择少量其置信度最高（通常通过预测概率衡量）的未标记示例，并为它们分配伪标签。这些新标记的示例随后被添加到另一个分类器的训练集中，然后两个分类器重新训练。
该过程重复进行固定次数的迭代，或直到没有高置信度预测为止。关键在于，每个分类器为另一个分类器提供了其单独无法遇到的“新”标记数据，从而在无需人工标注的情况下有效扩展了训练池。Blum和Mitchell的理论分析表明，如果视图条件独立且每个视图都足够充分，协同训练即使初始标签极少也能提升准确性。
应用与领域
协同训练已应用于自然存在多视图数据的各个领域。在自然语言处理中，它被用于Named-entity recognition和Sentiment Analysis等任务，其中一个视图可以是词级特征，另一个是句法或位置特征。在计算机视觉中，协同训练可以将颜色直方图与纹理描述符结合用于对象分类。在生物信息学中，它被用于利用不同测量平台作为视图来分类基因表达数据。
一个经典例子是网页分类：页面的文本内容和入站链接的锚文本构成两个视图。Blum和Mitchell的早期工作表明，协同训练仅使用少量标记页面和大量未标记页面即可高精度地分类学术课程主页。这一应用凸显了该方法在标注成本高昂但未标记数据丰富的场景中的实用价值。
扩展与变体
为了放宽协同训练的严格假设，研究者提出了多种扩展。三体训练使用三个分类器并通过多数投票来分配伪标签，从而减少了对视图划分的需求。协同正则化添加了一个惩罚项，以鼓励分类器在未标记数据上达成一致。民主协同学习将该思想推广到使用不同算法而非不同特征视图的多个学习器。
另一种变体是自训练，这是一种更简单的单视图方法，其中一个分类器对其自身的高置信度预测进行标注，但这种方法更容易产生错误传播。协同训练的多视图设计通过让每个分类器纠正另一个分类器的错误来缓解这一问题，前提是独立性假设成立。研究者还探索了深度学习适配，其中具有不同架构或输入变换的神经网络充当两个视图。
理论基础与局限性
协同训练的理论保证依赖于视图在给定标签条件下的条件独立性。在实践中，这一假设经常被违反，导致性能下降。当视图相关时，分类器可能会相互强化错误，造成确认偏差。实证研究表明，当独立性假设近似满足时，协同训练仍能表现良好，但在特征高度相关的数据集上，它可能不如简单的自训练。
另一个局限性是需要自然的特征划分，而这并非总是可用。在这种情况下，从业者可能使用随机特征划分，但这往往会削弱理论依据。该方法还需要仔细调整置信度阈值和每次迭代添加的示例数量，因为过于激进的标注可能引入噪声。尽管存在这些挑战，协同训练仍是半监督学习文献中的基准方法，也是构建更稳健算法的基石。
与现代半监督学习的关系
随着Deep learning的兴起，协同训练启发了现代方法，如一致性正则化和伪标签技术，这些技术被用于最先进的模型中。诸如MixMatch和FixMatch等技术通过数据增强结合多个视图，并强制预测一致性，呼应了协同训练中利用不同视角间一致性的核心思想。这一概念也与Representation learning中的多视图学习相一致，其中模型从多种模态或特征集中学习。
在Large language model时代，协同训练的原则出现在基于人类反馈的强化学习（Reinforcement Learning from AI Feedback (RLAIF)）流程中，其中奖励预测和策略生成这两个独立模型迭代地相互改进。虽然现代方法通常扩展到大规模未标记语料库，但协同训练的基本洞见，，即多样化的视图可以提供监督信号，，继续在学术和工业环境中为算法设计提供启示。