Aprendizado de representação, também conhecido como aprendizado de características, é um conjunto de técnicas em aprendizado de máquina que permitem que um sistema descubra automaticamente as representações necessárias para detecção de características ou classificação a partir de dados brutos. Isso substitui a engenharia manual de características e permite que uma máquina aprenda tanto as características quanto as utilize para realizar uma tarefa específica. A motivação é que muitas tarefas de aprendizado de máquina, como classificação, exigem entradas que sejam matematicamente e computacionalmente convenientes de processar, mas dados do mundo real, como imagens, vídeos e dados de sensores, não se adequam a características definidas algoritmicamente. Em vez disso, as representações são descobertas por meio de exame, sem depender de algoritmos explícitos.
O aprendizado de características pode ser supervisionado, não supervisionado ou autossupervisionado. No aprendizado de características supervisionado, as características são aprendidas usando dados de entrada rotulados, onde cada entrada possui um rótulo de verdade fundamental. No aprendizado de características não supervisionado, as características são aprendidas a partir de dados não rotulados, analisando relações entre pontos de dados. No aprendizado de características autossupervisionado, pares de entrada-rótulo são construídos a partir de cada ponto de dados, permitindo o aprendizado por meio de métodos supervisionados como gradiente descendente, como visto em embeddings de palavras e autoencoders.
Aprendizado de Características Supervisionado
O aprendizado de características supervisionado usa dados rotulados para calcular um termo de erro, que mede o grau em que o sistema falha em produzir o rótulo correto. Esse erro serve como feedback para ajustar o processo de aprendizado. As abordagens incluem aprendizado de dicionário supervisionado e redes neurais.
Aprendizado de Dicionário Supervisionado
O aprendizado de dicionário desenvolve um conjunto de elementos representativos, ou um dicionário, a partir de dados de entrada, de modo que cada ponto de dados possa ser representado como uma soma ponderada desses elementos. O dicionário e os pesos são encontrados minimizando o erro médio de representação, frequentemente com regularização L1 para incentivar a esparsidade. No aprendizado de dicionário supervisionado, tanto a estrutura dos dados quanto os rótulos são usados para otimizar o dicionário. Para classificação, a função objetivo inclui erro de classificação, erro de representação, regularização L1 nos pesos e regularização L2 nos parâmetros do classificador.
Redes Neurais
Redes neurais são uma família de algoritmos de aprendizado inspirados no sistema nervoso animal, consistindo em camadas de nós interconectados (neurônios) e arestas (sinapses) com pesos associados. A rede define regras computacionais para passar dados de entrada da camada de entrada para a camada de saída. Redes neurais multicamadas aprendem representações nas camadas ocultas, que são então usadas para classificação ou regressão na camada de saída. Uma arquitetura notável é a rede siamesa, que aprende a comparar entradas compartilhando pesos.
Aprendizado de Características Não Supervisionado
O aprendizado de características não supervisionado descobre características de baixa dimensão que capturam a estrutura em dados de entrada de alta dimensão, sem rótulos. Essas características podem então ser usadas de maneira semissupervisionada para melhorar tarefas supervisionadas. Métodos comuns incluem agrupamento k-means e análise de componentes principais.
Agrupamento K-Means
O agrupamento k-means agrupa n vetores em k clusters, onde cada vetor pertence ao cluster com a média mais próxima. O problema é NP-difícil, mas existem algoritmos gulosos. No aprendizado de características, o k-means pode produzir características adicionando indicadores binários para o centróide mais próximo ou usando distâncias aos centróides, possivelmente transformadas por uma função de base radial. Pesquisas de Coates e Ng descobriram que certas variantes do k-means se comportam de maneira semelhante à codificação esparsa. Em uma avaliação comparativa, Coates, Lee e Ng descobriram que o k-means com transformação apropriada superou autoencoders e máquinas de Boltzmann restritas na classificação de imagens. O k-means também melhora o reconhecimento de entidades nomeadas no processamento de linguagem natural, competindo com o agrupamento de Brown e embeddings neurais de palavras.
Análise de Componentes Principais
A análise de componentes principais (PCA) é uma técnica de redução de dimensão que gera p vetores singulares à direita correspondentes aos p maiores valores singulares da matriz de dados. Esses vetores definem um subespaço de menor dimensão que captura a maior variância, fornecendo uma representação compacta para tarefas subsequentes.
Aprendizado de Características Autossupervisionado
O aprendizado de características autossupervisionado constrói pares de entrada-rótulo a partir de dados não rotulados, permitindo que métodos de treinamento supervisionado aprendam a estrutura dos dados. Exemplos clássicos incluem embeddings de palavras e autoencoders. Embeddings de palavras, como os usados em grandes modelos de linguagem, mapeiam palavras para vetores densos que capturam relações semânticas. Autoencoders aprendem a reconstruir sua entrada através de um gargalo, forçando a rede a aprender representações eficientes. O aprendizado autossupervisionado tem sido aplicado a muitas modalidades usando arquiteturas profundas como redes neurais convolucionais e transformadores.
Aplicações e Impacto
O aprendizado de representação é fundamental para o aprendizado profundo moderno e para a IA generativa. Ele permite que sistemas aprendam características diretamente de dados brutos, reduzindo a necessidade de engenharia manual de características. Isso levou a avanços em visão computacional, processamento de linguagem natural e reconhecimento de fala. Em inteligência artificial, o aprendizado de representação sustenta muitos modelos de última geração, incluindo aqueles desenvolvidos por organizações como OpenAI, Google DeepMind e Anthropic. A capacidade de aprender representações úteis automaticamente é um fator-chave no sucesso de redes neurais e impulsionou avanços em áreas que vão da saúde à direção autônoma.
Desafios e Direções Futuras
Apesar de seus sucessos, o aprendizado de representação enfrenta desafios como interpretabilidade, eficiência de dados e generalização. As representações aprendidas são frequentemente difíceis de interpretar, e os modelos podem exigir grandes quantidades de dados. Pesquisadores estão explorando maneiras de tornar as representações mais robustas e transferíveis entre tarefas. A partir do início dos anos 2020, o aprendizado autossupervisionado e o aprendizado multimodal são áreas ativas de pesquisa, com potencial para reduzir ainda mais a dependência de dados rotulados e melhorar o desempenho em diversas tarefas.