PU learning（正例-未标注学习）是机器学习中的一个子领域，专门处理仅有正例（positive examples）和未标注数据（unlabeled data）可用的二分类问题。与传统的监督学习（需要大量正例和负例）不同，PU学习旨在从缺乏明确负例的数据中构建分类器，这在许多现实场景中具有重要的应用价值。
问题定义
在标准的二分类任务中，训练集由带标签的样本对 $(x, y)$ 组成，其中 $y \in \{+1, -1\}$。然而，在PU学习中，训练集被划分为两个子集：
- 正例集（P）：已知属于目标类别的样本。
- 未标注集（U）：包含正例和负例的混合样本，但未标注其具体类别。
PU学习的目标是训练一个分类器，使其能够准确区分正例和负例。这一问题的核心挑战在于，未标注数据中既包含正例也包含负例，且两者的比例未知，这给学习过程引入了偏差。
核心假设
PU学习通常基于以下关键假设：
- 正例完全随机选择（Selected Completely At Random, SCAR）：正例集是从所有正例中随机抽取的，与样本的特征无关。在此假设下，正例被选入标注集的概率是恒定的。
- 未标注集是随机样本：未标注集被视为从总体分布中随机抽取的样本，其中正例和负例的比例反映了总体中的真实比例。
这些假设使得PU学习问题在理论上可解，并允许开发无偏的估计器。然而，在实际应用中，这些假设可能不完全成立，需要根据具体场景进行调整。
主要方法
PU学习方法主要分为以下几类：
1. 两步法（Two-Step Approach）
这是最早期的PU学习方法之一，其基本思想是：
- 第一步：从未标注数据中识别出可靠的负例（Reliable Negatives）。常用的方法包括基于距离的启发式规则（如Spy技术）或使用朴素贝叶斯分类器。
- 第二步：将识别出的可靠负例与正例结合，训练一个标准的二分类器。
两步法简单直观，但其性能依赖于第一步中识别可靠负例的准确性。
2. 偏置学习法（Biased Learning）
偏置学习法将未标注数据中的全部样本视为负例，但通过调整损失函数来减轻误分类正例的影响。例如，在训练过程中，对未标注样本的误分类给予不同的权重，以反映其可能包含正例的事实。
这种方法通常需要估计未标注数据中正例的比例，并据此调整分类器的决策边界。
3. 无偏风险估计法（Unbiased Risk Estimation）
近年来，基于无偏风险估计的方法成为PU学习的主流。其核心思想是：
- 将分类器的期望风险分解为正例部分和未标注部分。
- 通过引入重要性加权（Importance Weighting）技术，利用未标注数据估计负例的风险，从而构建一个无偏的经验风险估计器。
这类方法在理论上具有更强的保证，并且在实践中通常表现优于两步法和偏置学习法。
应用场景
PU学习在许多领域都有广泛的应用，尤其是在负例难以获取或标注成本高昂的场景中：
- 信息检索：从大量文档中识别与特定主题相关的文档，其中相关文档为正例，其余文档为未标注数据。
- 生物信息学：预测蛋白质之间的相互作用，其中已知的相互作用为正例，而未知的相互作用被视为未标注数据。
- 欺诈检测：识别信用卡交易中的欺诈行为，其中已确认的欺诈交易为正例，其余交易为未标注数据。
- 医学诊断：从电子病历中识别罕见疾病患者，其中确诊患者为正例，其余患者为未标注数据。
挑战与未来方向
尽管PU学习取得了显著进展，但仍面临一些挑战：
- 假设的鲁棒性：SCAR假设在实际中可能不成立，例如正例的选择可能与特征相关。如何放宽这些假设并保持方法的有效性是一个开放问题。
- 未标注数据中的噪声：未标注数据中可能包含错误标注的样本，这会降低分类器的性能。
- 动态环境：在在线学习或强化学习场景中，数据分布可能随时间变化，PU学习方法需要适应这种变化。
未来的研究方向包括：
- 开发更鲁棒的PU学习方法，以应对SCAR假设的违反。
- 将PU学习与深度学习、大语言模型等先进技术结合，以处理更复杂的数据类型。
- 探索PU学习在强化学习、推荐系统等新兴领域中的应用。
总之，PU学习为处理仅有正例和未标注数据的分类问题提供了有效的解决方案，并在多个实际应用中展现出巨大的潜力。随着研究的深入，PU学习有望在更广泛的场景中发挥重要作用。