La interpretación bayesiana de la regularización de kernels es un marco conceptual en Machine learning que considera los métodos de aprendizaje basados en kernels, como las máquinas de vectores de soporte y la regresión por procesos gaussianos, a través del lente de la inferencia bayesiana. En esta visión, la elección de una función de kernel codifica una distribución de probabilidad a priori sobre posibles funciones, y el parámetro de regularización actúa como un hiperparámetro que controla la fuerza de esta prioridad en relación con los datos observados. El algoritmo de aprendizaje resultante produce una distribución a posteriori, donde la solución regularizada a menudo corresponde a la estimación máxima a posteriori (MAP).
Esta interpretación proporciona una forma fundamentada de entender por qué la regularización mejora la generalización: incorpora una creencia previa de que la función subyacente verdadera es suave o tiene complejidad limitada. Al modelar explícitamente la incertidumbre, la perspectiva bayesiana también ofrece herramientas para la selección de hiperparámetros, como la maximización de la verosimilitud marginal, y para cuantificar la incertidumbre predictiva, lo cual es valioso en aplicaciones como el aprendizaje activo y la toma de decisiones bajo incertidumbre.
Formulación Matemática
En la regresión de cresta con kernels, el objetivo es minimizar una pérdida regularizada: $\sum_{i=1}^n (y_i - f(x_i))^2 + \lambda \|f\|_{\mathcal{H}}^2$, donde $\mathcal{H}$ es un espacio de Hilbert con kernel reproductor (RKHS) con kernel $k$, y $\lambda > 0$ es el parámetro de regularización. Desde un punto de vista bayesiano, esto puede derivarse colocando una prioridad de proceso gaussiano sobre $f$ con media cero y función de covarianza $k(x, x')$. Suponiendo ruido gaussiano con varianza $\sigma^2$, la distribución a posteriori sobre funciones también es un proceso gaussiano, y su función media es exactamente la solución al problema de mínimos cuadrados regularizados cuando $\lambda = \sigma^2 / \tau^2$, donde $\tau^2$ es la escala de varianza previa.
La equivalencia fue formalizada en la década de 1990 por investigadores como Christopher Bishop y otros, quienes mostraron que el término de regularización corresponde al logaritmo negativo de la densidad previa, y la pérdida corresponde al logaritmo negativo de la verosimilitud. Esta dualidad permite a los profesionales alternar entre interpretaciones algorítmicas y probabilísticas sin problemas.
Papel del Kernel como Prioridad
La función de kernel $k(x, x')$ define la estructura de covarianza de la prioridad, que determina las propiedades de suavidad y estacionariedad de las funciones consideradas. Por ejemplo, el kernel de función de base radial (RBF) $k(x, x') = \exp(-\|x - x'\|^2 / (2\ell^2))$ con escala de longitud $\ell$ codifica una prioridad que favorece funciones que varían lentamente en distancias menores que $\ell$. En contraste, un kernel lineal $k(x, x') = x \cdot x'$ corresponde a una prioridad sobre funciones lineales, y un kernel polinómico de grado $d$ restringe a polinomios de grado máximo $d$.
Esta interpretación aclara que la elección del kernel no es meramente una conveniencia computacional, sino una decisión de modelado sustancial. También motiva el uso de kernels de determinación de relevancia automática (ARD), donde cada dimensión de entrada tiene su propia escala de longitud, permitiendo que la prioridad se adapte a la relevancia de diferentes características. Tales kernels se utilizan ampliamente en modelos de proceso gaussiano para regresión y clasificación.
Conexión con Procesos Gaussianos
Los procesos gaussianos (GPs) son el tratamiento bayesiano canónico de los métodos de kernel. En un GP, la prioridad sobre funciones está completamente especificada por una función media (a menudo cero) y una función de covarianza (el kernel). Dados los datos de entrenamiento, la posterior se calcula analíticamente, produciendo tanto una media predictiva como una varianza predictiva. La media predictiva coincide con la solución de regresión de cresta con kernels, mientras que la varianza proporciona una estimación de incertidumbre que no está disponible en un entorno puramente frecuentista.
Esta conexión tiene implicaciones prácticas. Por ejemplo, en Bayesian Optimization y Active Learning, la varianza predictiva guía la selección de nuevos puntos de datos. Además, la verosimilitud marginal, que integra los valores de la función, puede usarse para ajustar los hiperparámetros del kernel (como escalas de longitud y varianza de ruido) maximizando el logaritmo de la verosimilitud marginal. Esto es una alternativa fundamentada a la validación cruzada, aunque es computacionalmente más costosa para conjuntos de datos grandes.
Parámetro de Regularización como Fuerza de la Prioridad
El parámetro de regularización $\lambda$ en métodos de kernel se mapea directamente a la relación entre la varianza del ruido y la varianza previa. Un $\lambda$ grande corresponde a una prioridad fuerte (o ruido alto), lo que lleva a funciones más suaves y mayor contracción hacia la media previa. Un $\lambda$ pequeño permite que el modelo se ajuste más estrechamente a los datos, arriesgando sobreajuste. En el marco bayesiano, $\lambda$ no es un botón de ajuste libre, sino una consecuencia del nivel de ruido asumido y la escala previa, que pueden estimarse a partir de los datos mediante la verosimilitud marginal.
Esta perspectiva también explica el comportamiento de la regularización en el límite. A medida que $\lambda \to 0$, la solución se aproxima a la función interpolante que ajusta todos los puntos de entrenamiento exactamente, lo cual a menudo es indeseable. A medida que $\lambda \to \infty$, la solución colapsa a la media previa (típicamente cero). El $\lambda$ óptimo equilibra sesgo y varianza, y el marco bayesiano proporciona una forma fundamentada de encontrarlo sin recurrir a la búsqueda en cuadrícula.
Aplicaciones y Extensiones
La interpretación bayesiana se ha extendido a varios modelos basados en kernels. En support vector machines, la pérdida de bisagra no corresponde a una verosimilitud gaussiana estándar, pero puede obtenerse una interpretación probabilística usando una aproximación de Laplace o tratando la SVM como una estimación MAP bajo una prioridad específica. Más generalmente, el marco sustenta las relevance vector machines, que utilizan un enfoque de aprendizaje bayesiano disperso para seleccionar un subconjunto de puntos de entrenamiento como vectores de relevancia.
En el Deep learning moderno, la visión bayesiana de la regularización de kernels ha influido en el estudio de redes neuronales infinitamente anchas, que convergen a procesos gaussianos (el proceso gaussiano de red neuronal, o NNGP). Esta conexión, explorada por investigadores como Jacob Steinhardt y otros, une métodos de kernel y redes neuronales, permitiendo que conocimientos de la inferencia bayesiana informen el diseño de arquitecturas y el entrenamiento. Además, el concepto es central en la regresión de proceso gaussiano en probabilistic machine learning y se enseña en libros de texto estándar como los de Christopher Bishop y Carl Rasmussen.
Limitaciones y Críticas
A pesar de su elegancia, la interpretación bayesiana tiene limitaciones. La prioridad sobre funciones a menudo se elige por conveniencia computacional en lugar de conocimiento previo genuino, lo que puede llevar a modelos mal especificados. La suposición de ruido gaussiano puede violarse en la práctica, y la verosimilitud marginal puede ser sensible a la elección del kernel y los hiperparámetros. Además, para conjuntos de datos grandes, la inferencia bayesiana exacta en GPs escala cúbicamente con el número de puntos de entrenamiento, lo que requiere aproximaciones como GPs dispersos o métodos de puntos inductores.
Los críticos también señalan que la estimación MAP, que es lo que calcula la regresión de cresta con kernels, no captura completamente la incertidumbre posterior, y que la justificación bayesiana no garantiza automáticamente un mejor rendimiento predictivo que las alternativas frecuentistas. No obstante, la interpretación sigue siendo una herramienta conceptual poderosa para entender la regularización y para desarrollar nuevos algoritmos.