En el aprendizaje automático, la incrustación de núcleos de distribuciones (también llamada media del núcleo o mapa de medias) es una clase de métodos no paramétricos que representan una distribución de probabilidad como un elemento de un espacio de Hilbert de núcleo reproductor (RKHS). Este enfoque generaliza el mapeo de características utilizado en los métodos de núcleos clásicos: en lugar de mapear puntos de datos individuales, mapea distribuciones completas en un espacio de características de dimensión infinita. La incrustación puede preservar todas las características estadísticas de distribuciones arbitrarias, permitiendo a los profesionales comparar y manipular distribuciones utilizando operaciones del espacio de Hilbert, como productos internos, distancias, proyecciones, transformaciones lineales y análisis espectral.
El marco es altamente general y se aplica a distribuciones sobre cualquier espacio en el que se pueda definir una función de núcleo sensata. Se han propuesto núcleos para vectores en el espacio euclidiano, categorías discretas, cadenas, grafos, imágenes, series temporales, variedades, sistemas dinámicos y otros objetos estructurados. Los fundamentos teóricos fueron desarrollados principalmente por Alex Smola, Le Song, Arthur Gretton y Bernhard Schölkopf. Este enfoque ofrece una alternativa fundamentada a los métodos de teoría de la información, que a menudo requieren estimación de densidad o supuestos paramétricos que son inviables en entornos de alta dimensión.
Motivación y ventajas
Los métodos tradicionales para analizar distribuciones a menudo se basan en cantidades de teoría de la información, como la entropía, la información mutua o la divergencia de Kullback-Leibler. Estimar estas típicamente requiere estimación de densidad o estrategias sofisticadas de partición del espacio y corrección de sesgo, que fallan en altas dimensiones. Los modelos paramétricos, como los modelos de mezcla gaussiana, imponen supuestos que pueden ser infundados, mientras que los métodos no paramétricos, como la estimación de densidad por núcleos o las representaciones de funciones características, también luchan con datos de alta dimensión.
Las incrustaciones de núcleos evitan estos problemas. Permiten modelar datos sin supuestos restrictivos sobre la forma de las distribuciones o las relaciones entre variables. No se necesita estimación de densidad intermedia. Los profesionales pueden especificar qué propiedades de una distribución son más relevantes eligiendo un núcleo apropiado, incorporando conocimiento previo. Si se usa un núcleo característico, la incrustación preserva de manera única toda la información sobre la distribución, y los cálculos en el RKHS potencialmente de dimensión infinita se reducen a operaciones simples de matrices de Gram. Además, la media del núcleo empírica, estimada a partir de muestras, converge a la incrustación verdadera a tasas independientes de la dimensionalidad de los datos. Los algoritmos de aprendizaje basados en este marco exhiben buena generalización y convergencia de muestra finita, siendo a menudo más simples y efectivos que los métodos de teoría de la información.
Definiciones
Sea \(X\) una variable aleatoria con dominio \(\Omega\) y distribución \(P\). Dado un núcleo simétrico y definido positivo \(k: \Omega \times \Omega \to \mathbb{R}\), el teorema de Moore-Aronszajn garantiza la existencia de un RKHS único \(\mathcal{H}\) en \(\Omega\), un espacio de Hilbert de funciones \(f: \Omega \to \mathbb{R}\) con producto interno \(\langle \cdot, \cdot \rangle_{\mathcal{H}}\) y norma \(\|\cdot\|_{\mathcal{H}}\), para el cual \(k\) es un núcleo reproductor. Esto significa que para cada \(x \in \Omega\), la función \(k(x, \cdot)\) satisface la propiedad reproductora: \(\langle f, k(x, \cdot) \rangle_{\mathcal{H}} = f(x)\) para todo \(f \in \mathcal{H}\).
El mapeo \(x \mapsto k(x, \cdot)\) puede verse como un mapeo de características implícito \(\varphi: \Omega \to \mathcal{H}\), de modo que \(k(x, x') = \langle \varphi(x), \varphi(x') \rangle_{\mathcal{H}}\). La incrustación del núcleo de la distribución \(P\) se define entonces como la expectativa \(\mu_P := \mathbb{E}_{X \sim P}[\varphi(X)]\), que es un elemento del RKHS. En la práctica, dados muestras \(x_1, \dots, x_n\) de \(P\), la incrustación empírica es el promedio \(\hat{\mu}_P = \frac{1}{n} \sum_{i=1}^n \varphi(x_i)\).
Propiedades clave y operaciones
La incrustación permite varias operaciones sobre distribuciones. El producto interno entre dos incrustaciones, \(\langle \mu_P, \mu_Q \rangle_{\mathcal{H}}\), se puede calcular como una expectativa de evaluaciones del núcleo, que a menudo se estima a partir de muestras. La distancia entre distribuciones, conocida como discrepancia máxima de la media (MMD), está dada por \(\|\mu_P - \mu_Q\|_{\mathcal{H}}\). Esta distancia es cero si y solo si \(P = Q\) cuando el núcleo es característico, lo que la convierte en una métrica en el espacio de distribuciones de probabilidad. Otras operaciones incluyen proyecciones sobre subespacios del RKHS y análisis espectral de operadores de covarianza, que son útiles en reducción de dimensionalidad y pruebas de independencia.
Una propiedad crucial es que la incrustación empírica converge a la incrustación verdadera a una tasa de \(O(n^{-1/2})\) en la norma del RKHS, independiente de la dimensión de entrada. Esta es una ventaja significativa sobre los métodos basados en densidad, que sufren la maldición de la dimensionalidad. La elección del núcleo determina qué características de la distribución se enfatizan; por ejemplo, el núcleo gaussiano es característico y universal, lo que significa que puede aproximar cualquier función continua en dominios compactos.
Aplicaciones
El marco de incrustación de núcleos subsume muchos métodos populares como casos especiales. Se utiliza en pruebas de dos muestras, donde el MMD sirve como estadístico de prueba para determinar si dos muestras provienen de la misma distribución. También subyace a pruebas de independencia de núcleos, como el criterio de independencia de Hilbert-Schmidt (HSIC), que mide la dependencia entre variables aleatorias. En Machine learning, las incrustaciones de núcleos se han aplicado a Data Augmentation para modelos generativos, Model Pruning para inferencia eficiente y diseño de Loss Functions en Deep learning.
Más allá de los entornos clásicos, el marco se extiende a datos estructurados. Por ejemplo, los núcleos en grafos permiten incrustar distribuciones sobre redes, útiles en investigación de hardware estilo Graphcore o proyectos de Google DeepMind. En la investigación de Artificial intelligence, las incrustaciones de núcleos se han utilizado en Reinforcement learning para evaluación de políticas y en Bayesian Inference para priors no paramétricos. El enfoque también se conecta con la teoría de Neural network, donde el RKHS puede verse como un límite de ancho infinito de ciertas redes, vinculándose a arquitecturas Residual Network (ResNet) y U-Net.
Relación con otros métodos
Las incrustaciones de núcleos están estrechamente relacionadas con las funciones características en análisis de Fourier, pero operan en un espacio de Hilbert de núcleo reproductor en lugar del dominio de frecuencia. A diferencia de la estimación de densidad por núcleos, que usa núcleos de suavizado para estimar densidades, los núcleos aquí definen un espacio de características y no requieren estimación de densidad. El marco también se relaciona con Dropout y Batch Normalization en que proporciona una forma fundamentada de manejar la incertidumbre en distribuciones, aunque estas técnicas abordan problemas diferentes.
La teoría se ha extendido a distribuciones condicionales, dando lugar a incrustaciones de núcleos condicionales, que son útiles en modelos Sequence-to-Sequence (Seq2Seq) y arquitecturas Encoder-Decoder Architecture. Estas incrustaciones permiten regresión no paramétrica y filtrado en modelos de espacio de estados. Trabajos recientes han explorado conexiones con modelos Transformer (architecture), donde los mecanismos de atención pueden interpretarse como suavizado de núcleos, y con el entrenamiento de Large language model, donde las incrustaciones distribucionales podrían informar estrategias de Reinforcement Learning from AI Feedback (RLAIF) o Curriculum Learning.
Limitaciones y direcciones abiertas
A pesar de sus ventajas, la incrustación de núcleos tiene limitaciones. La elección del núcleo es crucial, y una elección pobre puede perder información o rendir un desempeño deficiente. Calcular matrices de Gram para conjuntos de datos grandes puede ser computacionalmente costoso, aunque existen aproximaciones. El método está diseñado principalmente para distribuciones sobre espacios euclidianos o estructurados; extenderlo a objetos más complejos sigue siendo un área activa. Los investigadores continúan explorando nuevos núcleos y algoritmos eficientes, a menudo en colaboración con laboratorios industriales como OpenAI, Anthropic y Google DeepMind.
A partir de principios de la década de 2020, las incrustaciones de núcleos siguen siendo un tema de investigación vibrante, con aplicaciones en inferencia causal, adaptación de dominio y cuantificación de incertidumbre. Las garantías teóricas y la flexibilidad del marco lo convierten en una herramienta valiosa en el conjunto más amplio de herramientas de Machine learning y estadística.