Em aprendizado de máquina, o kernel embedding de distribuições (também chamado de média do kernel ou mapa de média) é uma classe de métodos não paramétricos que representam uma distribuição de probabilidade como um elemento de um espaço de Hilbert com núcleo reprodutor (RKHS). Essa abordagem generaliza o mapeamento de características usado em métodos de kernel clássicos: em vez de mapear pontos de dados individuais, ela mapeia distribuições inteiras em um espaço de características de dimensão infinita. O embedding pode preservar todas as características estatísticas de distribuições arbitrárias, permitindo que profissionais comparem e manipulem distribuições usando operações de espaço de Hilbert, como produtos internos, distâncias, projeções, transformações lineares e análise espectral.
A estrutura é altamente geral e se aplica a distribuições sobre qualquer espaço no qual uma função de kernel sensata possa ser definida. Kernels foram propostos para vetores no espaço euclidiano, categorias discretas, strings, grafos, imagens, séries temporais, variedades, sistemas dinâmicos e outros objetos estruturados. Os fundamentos teóricos foram desenvolvidos principalmente por Alex Smola, Le Song, Arthur Gretton e Bernhard Schölkopf. Essa abordagem oferece uma alternativa fundamentada aos métodos de teoria da informação, que frequentemente exigem estimativa de densidade ou suposições paramétricas inviáveis em configurações de alta dimensão.
Motivação e vantagens
Métodos tradicionais para analisar distribuições frequentemente dependem de quantidades da teoria da informação, como entropia, informação mútua ou divergência de Kullback-Leibler. Estimar essas quantidades tipicamente requer estimativa de densidade ou estratégias sofisticadas de particionamento de espaço e correção de viés, que falham em altas dimensões. Modelos paramétricos, como modelos de mistura gaussiana, impõem suposições que podem ser infundadas, enquanto métodos não paramétricos, como estimativa de densidade por kernel ou representações de função característica, também enfrentam dificuldades com dados de alta dimensão.
Kernel embeddings contornam esses problemas. Eles permitem que dados sejam modelados sem suposições restritivas sobre a forma das distribuições ou relações entre variáveis. Nenhuma estimativa de densidade intermediária é necessária. Profissionais podem especificar quais propriedades de uma distribuição são mais relevantes escolhendo um kernel apropriado, incorporando conhecimento prévio. Se um kernel característico for usado, o embedding preserva exclusivamente toda a informação sobre a distribuição, e cálculos no RKHS potencialmente de dimensão infinita se reduzem a operações simples de matriz de Gram. Além disso, a média do kernel empírica, estimada a partir de amostras, converge para o embedding verdadeiro a taxas independentes da dimensionalidade dos dados. Algoritmos de aprendizado baseados nessa estrutura exibem boa generalização e convergência de amostra finita, sendo frequentemente mais simples e eficazes do que métodos de teoria da informação.
Definições
Seja \(X\) uma variável aleatória com domínio \(\Omega\) e distribuição \(P\). Dado um kernel simétrico e positivo-definido \(k: \Omega \times \Omega \to \mathbb{R}\), o teorema de Moore-Aronszajn garante a existência de um RKHS único \(\mathcal{H}\) em \(\Omega\), um espaço de Hilbert de funções \(f: \Omega \to \mathbb{R}\) com produto interno \(\langle \cdot, \cdot \rangle_{\mathcal{H}}\) e norma \(\|\cdot\|_{\mathcal{H}}\), para o qual \(k\) é um kernel reprodutor. Isso significa que para cada \(x \in \Omega\), a função \(k(x, \cdot)\) satisfaz a propriedade reprodutora: \(\langle f, k(x, \cdot) \rangle_{\mathcal{H}} = f(x)\) para todo \(f \in \mathcal{H}\).
O mapeamento \(x \mapsto k(x, \cdot)\) pode ser visto como um mapa de características implícito \(\varphi: \Omega \to \mathcal{H}\), de modo que \(k(x, x') = \langle \varphi(x), \varphi(x') \rangle_{\mathcal{H}}\). O kernel embedding da distribuição \(P\) é então definido como a expectativa \(\mu_P := \mathbb{E}_{X \sim P}[\varphi(X)]\), que é um elemento do RKHS. Na prática, dadas amostras \(x_1, \dots, x_n\) de \(P\), o embedding empírico é a média \(\hat{\mu}_P = \frac{1}{n} \sum_{i=1}^n \varphi(x_i)\).
Propriedades e operações principais
O embedding permite várias operações em distribuições. O produto interno entre dois embeddings, \(\langle \mu_P, \mu_Q \rangle_{\mathcal{H}}\), pode ser calculado como uma expectativa de avaliações de kernel, que é frequentemente estimada a partir de amostras. A distância entre distribuições, conhecida como discrepância máxima média (MMD), é dada por \(\|\mu_P - \mu_Q\|_{\mathcal{H}}\). Essa distância é zero se e somente se \(P = Q\) quando o kernel é característico, tornando-a uma métrica no espaço de distribuições de probabilidade. Outras operações incluem projeções em subespaços do RKHS e análise espectral de operadores de covariância, que são úteis em redução de dimensionalidade e testes de independência.
Uma propriedade crucial é que o embedding empírico converge para o embedding verdadeiro a uma taxa de \(O(n^{-1/2})\) na norma do RKHS, independente da dimensão de entrada. Isso é uma vantagem significativa sobre métodos baseados em densidade, que sofrem da maldição da dimensionalidade. A escolha do kernel determina quais características da distribuição são enfatizadas; por exemplo, o kernel gaussiano é característico e universal, o que significa que pode aproximar qualquer função contínua em domínios compactos.
Aplicações
A estrutura de kernel embedding engloba muitos métodos populares como casos especiais. É usada em testes de duas amostras, onde o MMD serve como estatística de teste para determinar se duas amostras vêm da mesma distribuição. Também fundamenta testes de independência por kernel, como o critério de independência de Hilbert-Schmidt (HSIC), que mede dependência entre variáveis aleatórias. Em Machine learning, kernel embeddings foram aplicados a Data Augmentation para modelos generativos, Model Pruning para inferência eficiente e design de Loss Functions em Deep learning.
Além de configurações clássicas, a estrutura se estende a dados estruturados. Por exemplo, kernels em grafos permitem o embedding de distribuições sobre redes, útil em pesquisa de hardware estilo Graphcore ou projetos do Google DeepMind. Em pesquisa de Artificial intelligence, kernel embeddings foram usados em Reinforcement learning para avaliação de políticas e em Bayesian Inference para priors não paramétricos. A abordagem também se conecta à teoria de Neural network, onde o RKHS pode ser visto como um limite de largura infinita de certas redes, ligando-se a arquiteturas Residual Network (ResNet) e U-Net.
Relação com outros métodos
Kernel embeddings estão intimamente relacionados a funções características em análise de Fourier, mas operam em um espaço de Hilbert com núcleo reprodutor em vez do domínio de frequência. Ao contrário da estimativa de densidade por kernel, que usa kernels de suavização para estimar densidades, os kernels aqui definem um espaço de características e não requerem estimativa de densidade. A estrutura também se relaciona a Dropout e Batch Normalization na medida em que fornece uma maneira fundamentada de lidar com incerteza em distribuições, embora essas técnicas abordem problemas diferentes.
A teoria foi estendida a distribuições condicionais, levando a kernel embeddings condicionais, que são úteis em modelos Sequence-to-Sequence (Seq2Seq) e arquiteturas Encoder-Decoder Architecture. Esses embeddings permitem regressão não paramétrica e filtragem em modelos de espaço de estado. Trabalhos recentes exploraram conexões com modelos Transformer (architecture), onde mecanismos de atenção podem ser interpretados como suavização por kernel, e com treinamento de Large language model, onde embeddings distribucionais podem informar estratégias de Reinforcement Learning from AI Feedback (RLAIF) ou Curriculum Learning.
Limitações e direções abertas
Apesar de suas vantagens, kernel embedding tem limitações. A escolha do kernel é crucial, e uma escolha ruim pode perder informação ou resultar em desempenho ruim. Calcular matrizes de Gram para grandes conjuntos de dados pode ser computacionalmente caro, embora existam aproximações. O método é projetado principalmente para distribuições sobre espaços euclidianos ou estruturados; estendê-lo a objetos mais complexos permanece uma área ativa. Pesquisadores continuam explorando novos kernels e algoritmos eficientes, frequentemente em colaboração com laboratórios da indústria como OpenAI, Anthropic e Google DeepMind.
A partir do início dos anos 2020, kernel embeddings permanecem um tópico de pesquisa vibrante, com aplicações em inferência causal, adaptação de domínio e quantificação de incerteza. As garantias teóricas e a flexibilidade da estrutura a tornam uma ferramenta valiosa no kit mais amplo de Machine learning e estatística.