カーネル法は、入力データと関数の対応する出力との関係を解析するための確立されたツールである。典型的な機械学習では、これらの関数はスカラー出力を生成するが、最近の開発により、カーネル法はベクトル値出力を持つ関数に拡張されている。この拡張は、関連する問題を同時に解くことへの関心によって推進されており、タスク間の関係を捉えるカーネルにより、アルゴリズムは互いから強みを借りることができる。このタイプのアルゴリズムには、マルチタスク学習（マルチ出力学習またはベクトル値学習とも呼ばれる）、転移学習、およびコクリギングが含まれる。マルチラベル分類は、入力をクラス数に等しい長さのバイナリ符号化ベクトルにマッピングするものとして解釈できる。ガウス過程では、カーネルは共分散関数と呼ばれ、複数出力関数は複数の過程を考慮することに対応する。
この文脈での教師あり学習問題は、\( i = 1, \ldots, N \) に対して、入力 \( \mathbf{x_i} \) が与えられたときにベクトル値出力 \( \mathbf{y_i} \) を予測する関数 \( f \) を学習することである。入力は入力空間 \( \mathcal{X} \)（多くの場合 \( \mathbb{R}^p \)）に属し、出力は \( \mathbb{R}^D \) に属する。一般に、出力ベクトルの各成分は、異なるカーディナリティや異なる入力空間を持つ異なる入力データを持つ可能性がある。地球統計学の文献では、この場合をヘテロトピックと呼び、同位体は各成分が同じ入力セットを共有することを示す。簡単のため、表記では各出力のデータ数とサンプル空間が同じであると仮定することが多い。
歴史
ベクトル値関数の学習の歴史は、ある問題を解く際に得た知識を保存し、それを異なるが関連する問題に適用することを含む転移学習と密接に関連している。転移学習の基本的な動機は、「学習することを学ぶ」に焦点を当てたNIPS-95ワークショップで議論され、以前に学習した知識を保持および再利用する生涯機械学習方法の必要性が強調された。転移学習に関する研究は、1995年以降、「学習することを学ぶ」、「生涯学習」、「知識転移」、「帰納的転移」、「マルチタスク学習」、「知識統合」、「文脈依存学習」、「知識ベースの帰納バイアス」、「メタ学習」、「増分・累積学習」など、さまざまな名前で多くの注目を集めてきた。ベクトル値関数の学習への関心は、複数の、場合によっては異なるタスクを同時に学習しようとするフレームワークであるマルチタスク学習によって特に引き起こされた。
機械学習コミュニティにおけるマルチタスク学習の初期の研究の多くは、1990年代のニューラルネットワーク、決定木、k近傍法などの方法に適用されるアルゴリズム的な性質のものであった。確率モデルとガウス過程の使用は、地球統計学の文脈で開拓され、主に発展させられた。そこでは、ベクトル値出力データに対する予測はコクリギングとして知られている。多変量モデリングへの地球統計学的アプローチは、主に線形コレギオナリゼーションモデル（LMC）を中心に定式化されており、これは多変量回帰や、高価な多変量コンピュータコードのコンピュータエミュレーションのための統計学で使用される有効な共分散関数を開発するための生成的アプローチである。ベクトル値関数の正則化およびカーネル理論の文献は2000年代に続いた。ベイズ的視点と正則化的視点は独立に発展したが、実際には密接に関連している。
正則化の視点
正則化の視点からは、問題はベクトル値関数の再生核ヒルベルト空間（\( \mathcal{H} \)）に属する関数 \( f_* \) を学習することである。これは、表記に細心の注意を払ったスカラー場合のチホノフ正則化に類似している。ベクトル値設定でのチホノフ正則化にも表現者定理が成り立つことを示すことは可能であるが、自明ではない。行列値カーネル \( \mathbf{K} \) は、空間 \( \mathcal{X} \times \{1, \ldots, D\} \) 上のスカラーカーネル \( R \) によって定義することもできる。この視点は、正則化技術が過学習の防止と一般化の改善に不可欠である機械学習のより広い分野と結びついている。
マルチタスク学習と関連パラダイム
マルチタスク学習は、ベクトル出力のためのカーネル法の中心的な応用である。目標は、共有情報を活用して各タスクのパフォーマンスを向上させながら、複数のタスクを同時に学習することである。このアプローチは、あるタスクからの知識を別のタスクに再利用する転移学習や、多変量空間予測のための地球統計学的手法であるコクリギングに関連している。マルチラベル分類では、ベクトル出力がクラスメンバーシップをエンコードし、ラベル間の相関を捉えるカーネルは分類精度を向上させることができる。これらの方法は、マルチタスクニューラルネットワークなどのタスクでベクトル値予測が一般的である人工知能や深層学習を含むさまざまな領域で適用されている。
ガウス過程との関連
ガウス過程では、カーネルは共分散関数として機能し、複数出力関数は複数の相関する過程を考慮することに対応する。このベイズ的視点は正則化的視点と密接に関連しており、両者は出力次元間の依存関係を捉えながら入力と出力の関係をモデル化することを目的としている。線形コレギオナリゼーションモデルは、この文脈で有効な共分散関数を構築するための標準的なアプローチである。この関連は、共有表現を通じて多出力予測がしばしば処理されるニューラルネットワークやトランスフォーマーにおける現代のアプローチに影響を与えている。
応用と拡張
ベクトル出力のためのカーネル法は、地球統計学、コンピュータエミュレーション、およびマルチタスク学習に適用されてきた。また、モデルが埋め込みや多次元予測などのベクトル値出力を生成することが多い現代の生成AIシステムにも関連している。大規模データセットにスケーリングする効率的なアルゴリズムとカーネルの開発に関する研究は続いており、MIT CSAILやスタンフォードAIラボなどの機関からの基礎的な研究に基づいている。この分野は、カリキュラム学習や他の高度なトレーニング技術との関連を含む、活発な研究領域のままである。