核方法是一种成熟的分析工具，用于研究输入数据与函数对应输出之间的关系。在典型的机器学习中，这些函数产生标量输出，但近期的发展已将核方法扩展到具有向量值输出的函数。这一扩展源于对同时解决相关问题的兴趣，其中捕获任务间关系的核使得算法能够相互借鉴优势。此类算法包括多任务学习（也称为多输出学习或向量值学习）、迁移学习和协同克里金法。多标签分类可以解释为将输入映射到长度等于类别数的二进制编码向量。在高斯过程中，核被称为协方差函数，而多输出函数对应于考虑多个过程。
在此背景下的监督学习问题是学习一个函数 \( f \)，该函数根据输入 \( \mathbf{x_i} \) 预测向量值输出 \( \mathbf{y_i} \)，其中 \( i = 1, \ldots, N \)。输入属于输入空间 \( \mathcal{X} \)，通常是 \( \mathbb{R}^p \)，而输出属于 \( \mathbb{R}^D \)。一般来说，输出向量的每个分量可能具有不同基数和甚至不同输入空间的输入数据；地统计学文献将这种情况称为异位，而同位则表示每个分量共享相同的输入集。为简化起见，符号通常假设每个输出的数据数量和样本空间相同。
历史
学习向量值函数的历史与迁移学习密切相关，迁移学习涉及存储解决一个问题时获得的知识，并将其应用于不同但相关的问题。迁移学习的基本动机在NIPS-95“学习如何学习”研讨会上进行了讨论，该研讨会关注终身机器学习方法的需求，这些方法能够保留并重用先前学到的知识。自1995年以来，关于迁移学习的研究以各种名称吸引了大量关注，包括学习如何学习、终身学习、知识迁移、归纳迁移、多任务学习、知识整合、上下文敏感学习、基于知识的归纳偏置、元学习以及增量/累积学习。对学习向量值函数的兴趣尤其受到多任务学习的激发，这是一种试图同时学习多个可能不同任务的框架。
机器学习社区中多任务学习的许多初期研究在本质上偏向算法，应用于1990年代的神经网络、决策树和k近邻等方法。概率模型和高斯过程的使用在地统计学领域得到了开创和广泛发展，其中对向量值输出数据的预测被称为协同克里金法。多变量建模的地统计学方法大多基于区域化线性模型（LMC）制定，这是一种生成式方法，用于开发有效的协方差函数，应用于多变量回归以及统计学中对昂贵多变量计算机代码的计算机仿真。向量值函数的正则化和核理论文献随后在2000年代出现。虽然贝叶斯和正则化视角是独立发展的，但它们实际上密切相关。
正则化视角
从正则化的角度来看，问题是学习一个属于向量值函数再生核希尔伯特空间（\( \mathcal{H} \)）的函数 \( f_* \)。这与标量情况下的Tikhonov正则化类似，但需要特别注意符号。可以证明，尽管并非显而易见，表示定理在向量值设置下的Tikhonov正则化中同样成立。矩阵值核 \( \mathbf{K} \) 也可以通过空间 \( \mathcal{X} \times \{1, \ldots, D\} \) 上的标量核 \( R \) 来定义。这一视角与更广泛的机器学习领域相联系，其中正则化技术是防止过拟合和提高泛化能力的基础。
多任务学习及相关范式
多任务学习是向量输出核方法的核心应用。其目标是同时学习多个任务，利用共享信息来提高每个任务的性能。这种方法与迁移学习相关，迁移学习将一个任务的知识重用于另一个任务，也与协同克里金法相关，后者是一种用于多变量空间预测的地统计学方法。在多标签分类中，向量输出编码类别成员关系，捕获标签间相关性的核可以提高分类准确性。这些方法已应用于各个领域，包括人工智能和深度学习，其中向量值预测在多任务神经网络等任务中很常见。
与高斯过程的联系
在高斯过程中，核作为协方差函数，而多输出函数对应于考虑多个相关过程。这种贝叶斯视角与正则化视角密切相关，因为两者都旨在建模输入与输出之间的关系，同时捕获输出维度之间的依赖性。区域化线性模型是此背景下构建有效协方差函数的标准方法。这一联系影响了神经网络和transformer中的现代方法，其中多输出预测通常通过共享表示来处理。
应用与扩展
用于向量输出的核方法已应用于地统计学、计算机仿真和多任务学习。它们也与现代生成式AI系统相关，这些系统通常产生向量值输出，如嵌入或多维预测。研究继续致力于开发高效算法和核，以扩展到大型数据集，并基于MIT CSAIL和斯坦福AI实验室等机构的基础工作。该领域仍是一个活跃的研究方向，与课程学习及其他高级训练技术有联系。