ポジティブ・アンラベルド学習（しばしばPU学習と略される）は、機械学習の一分野であり、ポジティブな例とラベルなしデータのみが利用可能な場合の二値分類の問題を扱う。標準的な教師あり学習がポジティブとネガティブの両方のラベル付きインスタンスを必要とするのに対し、PU学習はネガティブな例が存在しないか、明示的に特定されていないという制約の下で動作する。この設定は、信頼できるネガティブラベルを取得することが困難、高コスト、または非現実的である多くの実世界のアプリケーションで発生する。目標は、明示的なネガティブな訓練データがなくても、ポジティブなインスタンスとネガティブなインスタンスを区別できる分類器を構築することである。
この問題は2000年代初頭に正式に定式化され、イリノイ大学シカゴ校のBing Liuらによる基礎的な研究がその始まりとされる。彼らの2002年の論文では、ポジティブな例とラベルなしデータから学習するという概念が導入され、ラベルなしデータをポジティブとネガティブの混合として扱うアルゴリズムが提案された。それ以来、PU学習は、ネガティブラベルが曖昧または不完全であることが多い情報検索、バイオインフォマティクス、不正検出などの分野で重要なツールとなっている。
問題の定式化
標準的な二値分類タスクでは、訓練セットはラベル付きペア(x, y)（ここでy ∈ {+1, -1}）で構成される。PU学習では、訓練セットは2つのサブセットに分けられる：すべてのインスタンスがポジティブであることが知られているポジティブな例の集合Pと、ポジティブとネガティブの両方のインスタンスを含む可能性のあるラベルなし例の集合Uである。重要な課題は、ラベルなし集合が混合であり、その中のポジティブなインスタンスの割合が不明であることである。これにより、ネガティブラベルの欠如がバイアスを導入するため、この問題は標準的な教師あり学習とは根本的に異なるものとなる。
PU学習における一般的な仮定は、ラベル付きポジティブ集合が真のポジティブ分布からのランダムサンプルであるというもので、「selected completely at random」（SCAR）仮定として知られる。この仮定の下では、ポジティブなインスタンスがラベル付けされる確率は一定であり、その特徴とは独立である。これにより、分類リスクの不偏推定量の開発が可能となり、統計的学習理論の手法を用いて最適化することができる。
アプローチとアルゴリズム
PU学習に対処するために、いくつかのアルゴリズム群が開発されてきた。初期のアプローチの1つは二段階戦略であり、まずヒューリスティックを用いてラベルなし集合から信頼できるネガティブな例を特定し、その後、ポジティブな例と信頼できるネガティブな例に対して標準的な分類器を訓練する。この方法はLiuらによって広められ、スパイ手法や距離ベースの基準を用いてネガティブの候補を選択することが多い。しかし、これらの方法は初期のネガティブ選択の質に敏感である可能性がある。
より原理的なアプローチはバイアス学習に基づくもので、ラベルなしデータをノイズの多いネガティブな例として扱う。分類器は、ラベルなしインスタンスの一部が実際にはポジティブであるという事実を考慮した重み付き損失関数を最小化するように訓練される。これはコスト考慮型学習問題として定式化でき、ラベルなし集合内のポジティブなインスタンスの事前確率の推定に基づいて、ポジティブなインスタンスの誤分類コストを調整する。
近年では、深層学習手法がPU学習に応用されている。特に、ニューラルネットワークを用いたアプローチが注目されている。2014年にdu Plessis、Niu、Sugiyamaによって提案された不偏リスク推定量は、ネガティブラベルなしで分類器を訓練する理論的に裏付けられた方法を提供する。この推定量は非凸損失関数を扱うように拡張されており、画像分類やテキスト分類などの高次元設定で効果的であることが示されている。
応用
PU学習は、ネガティブラベルが希少または信頼性が低い領域で広く応用されている。情報検索では、文書分類やスパムフィルタリングに使用され、関連する文書の小さな集合のみが既知で、残りはラベルなしである。バイオインフォマティクスでは、タンパク質間相互作用や遺伝子機能の予測に適用され、実験的に確認されたポジティブな相互作用は利用可能であるが、ネガティブな相互作用はほとんど確認されていない。
もう1つの重要な応用は、不正検出や異常検知である。例えば、クレジットカード不正検出では、不正としてラベル付けされた取引は稀であり、大多数の取引はラベルなしである。PU学習により、確認された不正事例の小さな集合とラベルなし取引の大規模なプールからモデルを訓練し、検出率を向上させることができる。同様に、医療診断では、稀な疾患の確認された患者の小さな集合とラベルなしの患者記録の大規模な集合に基づいて、患者を特定するために使用できる。
課題と拡張
その有用性にもかかわらず、PU学習はいくつかの課題に直面している。主な課題は、ラベルなし集合内のポジティブなインスタンスの割合（クラス事前確率）の推定である。この推定が不正確だと、分類器のバイアスや性能低下につながる可能性がある。研究者らは、交差検証やモーメントマッチングなどの手法を用いた事前確率推定のさまざまな方法を提案しているが、この問題は多くの実用的な設定で未解決のままである。
もう1つの課題は、ポジティブ集合自体におけるラベルノイズの存在である。一部のアプリケーションでは、ラベル付きポジティブな例が誤ってラベル付けされている可能性があり、これがPU学習アルゴリズムの性能を低下させる可能性がある。このノイズを処理するために、追加の仮定を組み込んだロバストな変種が開発されている。
PU学習の拡張には、少数のネガティブラベルも利用可能な半教師ありPU学習や、異なるソースからのポジティブな例が異なる分布を持つ可能性がある複数ポジティブ集合PU学習が含まれる。これらの拡張は、基本PU設定の厳格な仮定を緩和し、複雑な実世界の問題への適用性を向上させることを目的としている。
他の学習パラダイムとの関係
PU学習は、他の弱教師あり学習パラダイムと密接に関連している。半教師あり学習では、ラベル付きポジティブとネガティブの両方の例がラベルなしデータとともに利用可能であるが、PU学習ではネガティブラベルが完全に欠如している。ノイズの多いラベル学習では、訓練セットにポジティブとネガティブの両方のラベルが含まれるが、一部のラベルが誤っている可能性がある。PU学習は、すべてのネガティブラベルが欠如しており、ラベルなしインスタンスの一部が実際にはポジティブであるという、ノイズの多いラベルの極端なケースと見なすことができる。
一クラス分類との関係も注目に値する。一クラス分類はポジティブクラスの分布をモデル化し、外れ値を特定することを目的としており、ラベルなし集合が主にネガティブで構成されている場合のPU学習と類似している。しかし、PU学習はラベルなし集合内のポジティブの存在を明示的に考慮しており、より一般的な設定を提供する。
今後の方向性
人工知能が進歩し続けるにつれて、PU学習はより複雑なモデルに統合されている。大規模言語モデルやトランスフォーマーベースのアーキテクチャは、大規模なラベルなしテキストデータを活用でき、PU学習はポジティブな例の小さな集合のみでそれらを微調整するためのフレームワークを提供する。これは、ポジティブな例が希少であるがラベルなしコーパスが広大である、法的文書分析や科学文献マイニングなどの分野で特に有用である。
研究はまた、データ分布が時間とともに変化する可能性がある強化学習やオンライン学習設定へのPU学習の応用を探求している。さらに、さまざまな仮定の下でのPU学習の理論的保証の開発は、実務者に堅牢で信頼性の高い方法を提供することを目的とした活発な研究分野であり続けている。