Os métodos de kernel são uma classe de algoritmos em aprendizado automático para análise de padrões, sendo a máquina de vectores de suporte (SVM) o membro mais conhecido. Estes métodos aplicam classificadores lineares a problemas não lineares explorando uma técnica matemática conhecida como truco do kernel. Em vez de transformar explicitamente os dados em um espaço de características de alta dimensão através de um mapa de características especificado pelo usuário, os métodos de kernel dependem de uma função de kernel, que calcula produtos internos entre pares de pontos de dados nesse espaço implícito. Esta abordagem é frequentemente computacionalmente mais barata que o cálculo explícito de coordenadas, e permite que algoritmos operem em espaços que podem ser de dimensão infinita, exigendo apenas uma matriz de dimensão finita fornecida pelo usuário, como garantido pelo teorema do representante.
O termo "kernel" refere-se à função de similaridade que mede a proximidade de quaisquer duas entradas. Funções de kernel foram desenvolvidas para vários tipos de dados, incluindo sequências, grafos, texto, imagens e vectores. Algoritmos que podem operar com kernels incluem o perceptron de kernel, máquinas de vectores de suporte, processos gaussianos, análise de componentes principais (PCA), análise de correlação canónica, regresión de cresta, agrupamento espectral e filtros adaptativos lineares. A maioria dos algoritmos de kernel basea-se em optimização convexa ou problemas de autovalores e são estatisticamente bem fundamentados, com suas propriedades frequentemente analizadas usando teoria de aprendizado estatístico, como a complexidade de Rademacher.
Motivación e explicación informal
Os métodos de kernel podem ser vistos como aprendices baseados em instancias. Em vez de aprender um conjunto fixo de parámetros correspondentes às características de entrada, eles "lembram" os exemplos de treinamento e aprendem um peso para cada um. Para uma entrada não rotulada, a predição envolve calcular uma soma ponderada de similaridades entre essa entrada e todos os exemplos de treinamento, usando a função de kernel. Para um classificador binário, o rótulo predito é o signo dessa soma. Esta abordagem foi descrita já nos anos 1960 com o perceptron de kernel, mas ganhou proeminência nos anos 1990 com o surgimento da SVM, que se tornou uma ferramenta padrão na pesquisa e aplicações de inteligência artificial.
O truco do kernel e espaços de características
O truco do kernel é a ideia central por trás dos métodos de kernel. Permite que algoritmos operem em um espaço de características implícito e de alta dimensão sem nunca calcular as coordenadas dos dados nesse espaço. Em vez disso, apenas os produtos internos entre as imágenes dos pares de dados são calculados. Isto é frequentemente mais barato que a transformação explícita. Por exemplo, um kernel polinomial pode mapear implicitamente dados a um espaço de todos os monomios até um determinado grau, permitindo que um classificador linear separe dados que não são linearmente separables no espaço de entrada original. O mapa de características em máquinas de kernel pode ser de dimensão infinita, mas o teorema do representante garante que a solução pode ser expressada como uma combinação finita de avaliações de kernel sobre os dados de treinamento.
Funções de kernel comuns
Várias funções de kernel são amplamente usadas na prática. O kernel linear é simplesmente o produto interno de dois vectores. O kernel polinomial, da forma (x·x' + c)^d, introduce não linearidade considerando produtos de características. O kernel de função de base radial (RBF), também conhecido como kernel gaussiano, é definido como exp(-γ||x - x'||^2) e é uma opção padrão popular porque pode aproximar qualquer função contínua com dados suficientes. Outros kernels incluyen o kernel sigmoide e kernels personalizados desenhados para estruturas de dados específicas, como kernels de cadeas para texto ou kernels de grafos para dados estruturados. A escolha do kernel e seus parámetros afeta significativamente o desempeño de algoritmos baseados em kernel.
Aplicações e limitaciones
Os métodos de kernel foram aplicados em muitos domínios, incluindo visão computacional, bioinformática, processamento de linguagem natural e processamento de sinais. Por exemplo, SVMs com kernels RBF foram uma abordagem líder para classificação de imágenes antes do surgimento do aprendizado profundo. No entanto, os métodos de kernel têm limitaciones notables. São lentos para calcular em conjuntos de dados maiores que alguns milhares de exemplos sem processamento paralelo, já que a matriz de kernel escala quadraticamente com o número de muestras. Isto levou ao desenvolvimento de métodos aproximados e à mudança hacia abordagens de redes neuronais, que podem manejar dados em grande escala de forma mais eficiente. Não obstante, os métodos de kernel permanecen valiosos por suas garantías teóricas e interpretabilidade, e continuam sendo usados em aplicações especializadas.
Relación com o aprendizado automático moderno
Os métodos de kernel compartem vínculos conceituais com o aprendizado profundo e arquiteturas transformadoras. Por exemplo, o mecanismo de atenção em transformadores pode ser visto como uma forma de suavizado de kernel, onde escores de similaridade são calculados entre consultas e chaves. Alguns pesquisadores exploraram conexiones entre redes neuronais de largura infinita e processos gaussianos, um método de kernel. Embora o aprendizado profundo tenha em grande parte superado os métodos de kernel em muitas aplicações práticas devido à escalabilidade e ao aprendizado de características, os métodos de kernel ainda informam a compreensão teórica e fornecen bases de referência robustas. Também são usados em abordagens híbridas, como regularização baseada em kernel em redes neuronais.