A interpretação bayesiana da regularização de kernel é um arcabouço conceitual em aprendizado de máquina que examina métodos de aprendizado baseados em kernel, como máquinas de vetores de suporte e regressão por processo gaussiano, sob a ótica da inferência bayesiana. Nessa visão, a escolha de uma função de kernel codifica uma distribuição de probabilidade a priori sobre possíveis funções, e o parâmetro de regularização atua como um hiperparâmetro que controla a força dessa priori em relação aos dados observados. O algoritmo de aprendizado resultante produz uma distribuição a posteriori, com a solução regularizada frequentemente correspondendo à estimativa de máxima a posteriori (MAP).
Essa interpretação fornece uma maneira fundamentada de entender por que a regularização melhora a generalização: ela incorpora uma crença a priori de que a função subjacente verdadeira é suave ou tem complexidade limitada. Ao modelar explicitamente a incerteza, a perspectiva bayesiana também oferece ferramentas para seleção de hiperparâmetros, como a maximização da verossimilhança marginal, e para quantificar a incerteza preditiva, o que é valioso em aplicações como aprendizado ativo e tomada de decisão sob incerteza.
Formulação Matemática
Na regressão ridge com kernel, o objetivo é minimizar uma perda regularizada: $\sum_{i=1}^n (y_i - f(x_i))^2 + \lambda \|f\|_{\mathcal{H}}^2$, onde $\mathcal{H}$ é um espaço de Hilbert com núcleo reprodutor (RKHS) com kernel $k$, e $\lambda > 0$ é o parâmetro de regularização. De um ponto de vista bayesiano, isso pode ser derivado colocando-se uma priori de processo gaussiano sobre $f$ com média zero e função de covariância $k(x, x')$. Assumindo ruído gaussiano com variância $\sigma^2$, a distribuição a posteriori sobre funções também é um processo gaussiano, e sua função média é exatamente a solução do problema de mínimos quadrados regularizados quando $\lambda = \sigma^2 / \tau^2$, onde $\tau^2$ é a escala de variância a priori.
A equivalência foi formalizada na década de 1990 por pesquisadores incluindo Christopher Bishop e outros, que mostraram que o termo de regularização corresponde ao log negativo da densidade a priori, e a perda corresponde ao log negativo da verossimilhança. Essa dualidade permite que profissionais alternem entre interpretações algorítmicas e probabilísticas de forma contínua.
Papel do Kernel como Priori
A função de kernel $k(x, x')$ define a estrutura de covariância da priori, que determina as propriedades de suavidade e estacionariedade das funções consideradas. Por exemplo, o kernel de função de base radial (RBF) $k(x, x') = \exp(-\|x - x'\|^2 / (2\ell^2))$ com comprimento de escala $\ell$ codifica uma priori que favorece funções que variam lentamente em distâncias menores que $\ell$. Em contraste, um kernel linear $k(x, x') = x \cdot x'$ corresponde a uma priori sobre funções lineares, e um kernel polinomial de grau $d$ restringe-se a polinômios de grau no máximo $d$.
Essa interpretação esclarece que a escolha do kernel não é meramente uma conveniência computacional, mas uma decisão de modelagem substantiva. Ela também motiva o uso de kernels de determinação automática de relevância (ARD), onde cada dimensão de entrada tem seu próprio comprimento de escala, permitindo que a priori se adapte à relevância de diferentes características. Tais kernels são amplamente usados em modelos de processo gaussiano para regressão e classificação.
Conexão com Processos Gaussianos
Processos gaussianos (GPs) são o tratamento bayesiano canônico de métodos de kernel. Em um GP, a priori sobre funções é totalmente especificada por uma função média (frequentemente zero) e uma função de covariância (o kernel). Dados os dados de treinamento, a posteriori é calculada analiticamente, produzindo tanto uma média preditiva quanto uma variância preditiva. A média preditiva coincide com a solução da regressão ridge com kernel, enquanto a variância fornece uma estimativa de incerteza que não está disponível em um ambiente puramente frequentista.
Essa conexão tem implicações práticas. Por exemplo, em otimização bayesiana e aprendizado ativo, a variância preditiva orienta a seleção de novos pontos de dados. Além disso, a verossimilhança marginal, que integra os valores da função, pode ser usada para ajustar hiperparâmetros do kernel (como comprimentos de escala e variância do ruído) maximizando o log da verossimilhança marginal. Essa é uma alternativa fundamentada à validação cruzada, embora seja computacionalmente mais cara para grandes conjuntos de dados.
Parâmetro de Regularização como Força da Priori
O parâmetro de regularização $\lambda$ em métodos de kernel mapeia diretamente para a razão entre a variância do ruído e a variância a priori. Um $\lambda$ grande corresponde a uma priori forte (ou ruído alto), levando a funções mais suaves e mais encolhimento em direção à média a priori. Um $\lambda$ pequeno permite que o modelo se ajuste mais de perto aos dados, arriscando sobreajuste. No arcabouço bayesiano, $\lambda$ não é um botão de ajuste livre, mas uma consequência do nível de ruído assumido e da escala a priori, que podem ser estimados a partir dos dados via verossimilhança marginal.
Essa perspectiva também explica o comportamento da regularização no limite. Conforme $\lambda \to 0$, a solução se aproxima da função interpoladora que ajusta todos os pontos de treinamento exatamente, o que é frequentemente indesejável. Conforme $\lambda \to \infty$, a solução colapsa para a média a priori (tipicamente zero). O $\lambda$ ótimo equilibra viés e variância, e o arcabouço bayesiano fornece uma maneira fundamentada de encontrá-lo sem recorrer à busca em grade.
Aplicações e Extensões
A interpretação bayesiana foi estendida a vários modelos baseados em kernel. Em máquinas de vetores de suporte, a perda hinge não corresponde a uma verossimilhança gaussiana padrão, mas uma interpretação probabilística pode ser obtida usando uma aproximação de Laplace ou tratando a SVM como uma estimativa MAP sob uma priori específica. Mais geralmente, o arcabouço sustenta as máquinas de vetores de relevância, que usam uma abordagem de aprendizado bayesiano esparso para selecionar um subconjunto de pontos de treinamento como vetores de relevância.
No aprendizado profundo moderno, a visão bayesiana da regularização de kernel influenciou o estudo de redes neurais infinitamente largas, que convergem para processos gaussianos (o processo gaussiano de rede neural, ou NNGP). Essa conexão, explorada por pesquisadores como Jacob Steinhardt e outros, une métodos de kernel e redes neurais, permitindo que insights da inferência bayesiana informem o design de arquiteturas e o treinamento. Além disso, o conceito é central para a regressão por processo gaussiano em aprendizado de máquina probabilístico e é ensinado em livros-texto padrão como os de Christopher Bishop e Carl Rasmussen.
Limitações e Críticas
Apesar de sua elegância, a interpretação bayesiana tem limitações. A priori sobre funções é frequentemente escolhida por conveniência computacional em vez de conhecimento a priori genuíno, o que pode levar a modelos mal especificados. A suposição de ruído gaussiano pode ser violada na prática, e a verossimilhança marginal pode ser sensível à escolha do kernel e dos hiperparâmetros. Além disso, para grandes conjuntos de dados, a inferência bayesiana exata em GPs escala cubicamente com o número de pontos de treinamento, exigindo aproximações como GPs esparsos ou métodos de pontos indutores.
Críticos também notam que a estimativa MAP, que é o que a regressão ridge com kernel calcula, não captura totalmente a incerteza a posteriori, e que a justificativa bayesiana não garante automaticamente melhor desempenho preditivo do que alternativas frequentistas. No entanto, a interpretação permanece uma ferramenta conceitual poderosa para entender a regularização e para desenvolver novos algoritmos.