Métodos de núcleo são uma ferramenta bem estabelecida para analisar a relação entre dados de entrada e a saída correspondente de uma função. No aprendizado de máquina típico, essas funções produzem uma saída escalar, mas desenvolvimentos recentes estenderam os métodos de núcleo para funções com saída de valor vetorial. Essa extensão é impulsionada pelo interesse em resolver simultaneamente problemas relacionados, onde núcleos que capturam relações entre tarefas permitem que algoritmos aproveitem a força uns dos outros. Algoritmos desse tipo incluem aprendizado multi-tarefa (também chamado de aprendizado multi-saída ou aprendizado de valor vetorial), aprendizado por transferência e co-krigagem. A classificação multi-rótulo pode ser interpretada como o mapeamento de entradas para vetores de codificação binária com comprimento igual ao número de classes. Em processos gaussianos, os núcleos são chamados de funções de covariância, e funções de múltiplas saídas correspondem à consideração de múltiplos processos.
O problema de aprendizado supervisionado neste contexto é aprender uma função \( f \) que prevê saídas de valor vetorial \( \mathbf{y_i} \) dadas entradas \( \mathbf{x_i} \), para \( i = 1, \ldots, N \). As entradas pertencem a um espaço de entrada \( \mathcal{X} \), frequentemente \( \mathbb{R}^p \), e as saídas pertencem a \( \mathbb{R}^D \). Em geral, cada componente do vetor de saída pode ter dados de entrada diferentes com cardinalidade diferente e até espaços de entrada diferentes; a literatura de geoestatística chama esse caso de heterotópico, enquanto isotópico indica que cada componente compartilha o mesmo conjunto de entradas. Por simplicidade, a notação frequentemente assume que o número e o espaço amostral dos dados para cada saída são os mesmos.
História
A história do aprendizado de funções de valor vetorial está intimamente ligada ao aprendizado por transferência, que envolve armazenar conhecimento adquirido ao resolver um problema e aplicá-lo a um problema diferente, mas relacionado. A motivação fundamental para o aprendizado por transferência foi discutida em um workshop NIPS-95 sobre "Aprender a Aprender", que focou na necessidade de métodos de aprendizado de máquina ao longo da vida que retêm e reutilizam conhecimento previamente aprendido. A pesquisa sobre aprendizado por transferência atraiu muita atenção desde 1995 sob vários nomes, incluindo aprender a aprender, aprendizado ao longo da vida, transferência de conhecimento, transferência indutiva, aprendizado multi-tarefa, consolidação de conhecimento, aprendizado sensível ao contexto, viés indutivo baseado em conhecimento, meta-aprendizado e aprendizado incremental/acumulativo. O interesse em aprender funções de valor vetorial foi particularmente despertado pelo aprendizado multi-tarefa, uma estrutura que tenta aprender múltiplas tarefas, possivelmente diferentes, simultaneamente.
Muita da pesquisa inicial em aprendizado multi-tarefa na comunidade de aprendizado de máquina era de natureza algorítmica, aplicada a métodos como redes neurais, árvores de decisão e k-vizinhos mais próximos na década de 1990. O uso de modelos probabilísticos e processos gaussianos foi pioneiro e amplamente desenvolvido no contexto da geoestatística, onde a previsão sobre dados de saída de valor vetorial é conhecida como cokrigagem. Abordagens geoestatísticas para modelagem multivariada são majoritariamente formuladas em torno do modelo linear de coregionalização (LMC), uma abordagem generativa para desenvolver funções de covariância válidas usadas para regressão multivariada e em estatística para emulação computacional de códigos computacionais multivariados caros. A literatura de regularização e teoria de núcleos para funções de valor vetorial seguiu nos anos 2000. Embora as perspectivas bayesiana e de regularização tenham sido desenvolvidas independentemente, elas estão de fato intimamente relacionadas.
Perspectiva de Regularização
Da perspectiva de regularização, o problema é aprender uma função \( f_* \) pertencente a um espaço de Hilbert de reprodução de núcleo de funções de valor vetorial (\( \mathcal{H} \)). Isso é semelhante ao caso escalar da regularização de Tikhonov, com cuidado extra na notação. É possível, embora não trivial, mostrar que um teorema do representante também vale para a regularização de Tikhonov no contexto de valor vetorial. O núcleo de valor matricial \( \mathbf{K} \) também pode ser definido por um núcleo escalar \( R \) no espaço \( \mathcal{X} \times \{1, \ldots, D\} \). Essa perspectiva conecta-se ao campo mais amplo de aprendizado de máquina, onde técnicas de regularização são fundamentais para prevenir overfitting e melhorar a generalização.
Aprendizado Multi-Tarefa e Paradigmas Relacionados
O aprendizado multi-tarefa é uma aplicação central de métodos de núcleo para saída vetorial. O objetivo é aprender múltiplas tarefas simultaneamente, aproveitando informações compartilhadas para melhorar o desempenho em cada tarefa. Essa abordagem está relacionada ao aprendizado por transferência, onde o conhecimento de uma tarefa é reutilizado para outra, e à co-krigagem, um método geoestatístico para previsão espacial multivariada. Na classificação multi-rótulo, a saída vetorial codifica a pertinência a classes, e núcleos que capturam correlações entre rótulos podem melhorar a precisão da classificação. Esses métodos foram aplicados em vários domínios, incluindo inteligência artificial e aprendizado profundo, onde previsões de valor vetorial são comuns em tarefas como redes neurais multi-tarefa.
Conexão com Processos Gaussianos
Em processos gaussianos, os núcleos servem como funções de covariância, e funções de múltiplas saídas correspondem à consideração de múltiplos processos correlacionados. Essa perspectiva bayesiana está intimamente relacionada à perspectiva de regularização, pois ambas visam modelar a relação entre entradas e saídas enquanto capturam dependências entre dimensões de saída. O modelo linear de coregionalização é uma abordagem padrão para construir funções de covariância válidas neste contexto. Essa conexão influenciou abordagens modernas em redes neurais e transformadores, onde previsões de múltiplas saídas são frequentemente tratadas por meio de representações compartilhadas.
Aplicações e Extensões
Métodos de núcleo para saída vetorial foram aplicados em geoestatística, emulação computacional e aprendizado multi-tarefa. Eles também são relevantes para sistemas modernos de IA generativa, onde modelos frequentemente produzem saídas de valor vetorial, como embeddings ou previsões multidimensionais. A pesquisa continua no desenvolvimento de algoritmos e núcleos eficientes que escalam para grandes conjuntos de dados, com base em trabalhos fundamentais de instituições como MIT CSAIL e Stanford AI Lab. O campo permanece uma área ativa de estudo, com conexões com aprendizado curricular e outras técnicas avançadas de treinamento.