Los métodos de núcleo son una herramienta bien establecida para analizar la relación entre los datos de entrada y la salida correspondiente de una función. En el aprendizaje automático típico, estas funciones producen una salida escalar, pero desarrollos recientes han extendido los métodos de núcleo a funciones con salida vectorial. Esta extensión está impulsada por el interés en resolver simultáneamente problemas relacionados, donde los núcleos que capturan relaciones entre tareas permiten que los algoritmos se beneficien mutuamente. Los algoritmos de este tipo incluyen el aprendizaje multitarea (también llamado aprendizaje multi-salida o aprendizaje de valores vectoriales), el aprendizaje por transferencia y el co-kriging. La clasificación multi-etiqueta puede interpretarse como el mapeo de entradas a vectores de codificación binaria con una longitud igual al número de clases. En los procesos gaussianos, los núcleos se denominan funciones de covarianza, y las funciones de múltiples salidas corresponden a considerar múltiples procesos.
El problema de aprendizaje supervisado en este contexto es aprender una función \( f \) que predice salidas vectoriales \( \mathbf{y_i} \) dadas las entradas \( \mathbf{x_i} \), para \( i = 1, \ldots, N \). Las entradas pertenecen a un espacio de entrada \( \mathcal{X} \), a menudo \( \mathbb{R}^p \), y las salidas pertenecen a \( \mathbb{R}^D \). En general, cada componente del vector de salida podría tener datos de entrada diferentes con cardinalidad distinta e incluso espacios de entrada diferentes; la literatura de geoestadística denomina a este caso heterotópico, mientras que isotópico indica que cada componente comparte el mismo conjunto de entradas. Por simplicidad, la notación a menudo asume que el número y el espacio muestral de los datos para cada salida son los mismos.
Historia
La historia del aprendizaje de funciones con valores vectoriales está estrechamente vinculada al aprendizaje por transferencia, que implica almacenar el conocimiento adquirido al resolver un problema y aplicarlo a un problema diferente pero relacionado. La motivación fundamental para el aprendizaje por transferencia se discutió en un taller de NIPS-95 sobre "Aprender a aprender", que se centró en la necesidad de métodos de aprendizaje automático de por vida que retengan y reutilicen el conocimiento previamente aprendido. La investigación sobre el aprendizaje por transferencia ha atraído mucha atención desde 1995 bajo varios nombres, incluidos aprender a aprender, aprendizaje de por vida, transferencia de conocimiento, transferencia inductiva, aprendizaje multitarea, consolidación de conocimiento, aprendizaje sensible al contexto, sesgo inductivo basado en conocimiento, metalearning y aprendizaje incremental/acumulativo. El interés en aprender funciones con valores vectoriales fue particularmente impulsado por el aprendizaje multitarea, un marco que intenta aprender múltiples tareas, posiblemente diferentes, simultáneamente.
Gran parte de la investigación inicial en aprendizaje multitarea en la comunidad de aprendizaje automático fue de naturaleza algorítmica, aplicada a métodos como redes neuronales, árboles de decisión y k-vecinos más cercanos en la década de 1990. El uso de modelos probabilísticos y procesos gaussianos fue pionero y desarrollado en gran medida en el contexto de la geoestadística, donde la predicción sobre datos de salida vectoriales se conoce como cokriging. Los enfoques geoestadísticos para el modelado multivariado se formulan principalmente en torno al modelo lineal de coregionalización (LMC), un enfoque generativo para desarrollar funciones de covarianza válidas utilizadas en regresión multivariada y en estadística para la emulación computacional de códigos informáticos multivariados costosos. La literatura de regularización y teoría de núcleos para funciones con valores vectoriales siguió en la década de 2000. Aunque las perspectivas bayesiana y de regularización se desarrollaron de manera independiente, están estrechamente relacionadas.
Perspectiva de Regularización
Desde la perspectiva de la regularización, el problema es aprender una función \( f_* \) que pertenezca a un espacio de Hilbert de reproducción de núcleo de funciones con valores vectoriales (\( \mathcal{H} \)). Esto es similar al caso escalar de la regularización de Tikhonov, con cuidado adicional en la notación. Es posible, aunque no trivial, demostrar que un teorema del representante también se cumple para la regularización de Tikhonov en el contexto de valores vectoriales. El núcleo con valores matriciales \( \mathbf{K} \) también puede definirse mediante un núcleo escalar \( R \) en el espacio \( \mathcal{X} \times \{1, \ldots, D\} \). Esta perspectiva se conecta con el campo más amplio del aprendizaje automático, donde las técnicas de regularización son fundamentales para prevenir el sobreajuste y mejorar la generalización.
Aprendizaje Multitarea y Paradigmas Relacionados
El aprendizaje multitarea es una aplicación central de los métodos de núcleo para salida vectorial. El objetivo es aprender múltiples tareas simultáneamente, aprovechando la información compartida para mejorar el rendimiento en cada tarea. Este enfoque está relacionado con el aprendizaje por transferencia, donde el conocimiento de una tarea se reutiliza para otra, y con el co-kriging, un método geoestadístico para la predicción espacial multivariante. En la clasificación multi-etiqueta, la salida vectorial codifica la pertenencia a clases, y los núcleos que capturan correlaciones entre etiquetas pueden mejorar la precisión de la clasificación. Estos métodos se han aplicado en diversos dominios, incluidos la inteligencia artificial y el aprendizaje profundo, donde las predicciones con valores vectoriales son comunes en tareas como redes neuronales multitarea.
Conexión con los procesos gaussianos
En los procesos gaussianos, los núcleos sirven como funciones de covarianza, y las funciones de múltiples salidas corresponden a considerar múltiples procesos correlacionados. Esta perspectiva bayesiana está estrechamente relacionada con la perspectiva de regularización, ya que ambas buscan modelar la relación entre entradas y salidas mientras capturan dependencias entre las dimensiones de salida. El modelo lineal de coregionalización es un enfoque estándar para construir funciones de covarianza válidas en este contexto. Esta conexión ha influido en los enfoques modernos en redes neuronales y transformadores, donde las predicciones de múltiples salidas a menudo se manejan mediante representaciones compartidas.
Aplicaciones y extensiones
Los métodos de núcleo para salida vectorial se han aplicado en geoestadística, emulación por computadora y aprendizaje multitarea. También son relevantes para los sistemas modernos de IA generativa, donde los modelos a menudo producen salidas vectoriales como incrustaciones o predicciones multidimensionales. La investigación continúa en el desarrollo de algoritmos y núcleos eficientes que escalen a grandes conjuntos de datos, basándose en trabajos fundamentales de instituciones como MIT CSAIL y Stanford AI Lab. El campo sigue siendo un área activa de estudio, con conexiones con el aprendizaje curricular y otras técnicas de entrenamiento avanzadas.