Em processamento de linguagem natural, uma word embedding é uma representação de uma palavra como um vetor de valores reais que codifica seu significado. A ideia central é que palavras mais próximas no espaço vetorial tendem a ser semelhantes em significado, permitindo a análise quantitativa de relações semânticas. Word embeddings são tipicamente obtidas por meio de técnicas de modelagem de linguagem e aprendizado de características, mapeando palavras ou frases de um vocabulário para vetores de números. Essas representações demonstraram melhorar o desempenho em tarefas como análise sintática e análise de sentimentos quando usadas como características de entrada.
Métodos para gerar word embeddings incluem redes neurais, redução de dimensionalidade em matrizes de coocorrência de palavras, modelos probabilísticos e representação explícita de contextos. A abordagem evoluiu de modelos iniciais de espaço semântico para técnicas modernas de aprendizado profundo, tornando-se uma pedra angular de sistemas de compreensão de linguagem natural.
Desenvolvimento e História
A ideia subjacente de que "uma palavra é caracterizada pela companhia que mantém" foi proposta em um artigo de 1957 por John Rupert Firth, enraizada na semântica distribucional. Modelos iniciais de espaço semântico, como o modelo de espaço vetorial para recuperação de informação, representavam palavras em espaços esparsos e de alta dimensionalidade. A redução de dimensionalidade via decomposição em valores singulares levou à análise semântica latente no final dos anos 1980. Em 2000, Yoshua Bengio e colegas introduziram modelos de linguagem probabilísticos neurais que aprendiam representações distribuídas para palavras, reduzindo a dimensionalidade. Um estudo de 2002 da NeurIPS aplicou CCA de kernel a corpora bilíngues, um exemplo inicial de aprendizado autossupervisionado para word embeddings.
Após o trabalho fundacional de Bengio e outros, a maioria das novas técnicas após cerca de 2005 dependia de arquiteturas de redes neurais. Em 2013, uma equipe do Google liderada por Tomas Mikolov criou o word2vec, um kit de ferramentas que treinava modelos de espaço vetorial mais rapidamente do que abordagens anteriores, popularizando amplamente as word embeddings. Trabalhos posteriores incluíram o fastText, que representava palavras parcialmente por meio de n-gramas de caracteres.
Polissemia e Homonímia
Uma limitação chave das word embeddings estáticas é que palavras com múltiplos significados são fundidas em um único vetor, falhando em lidar com polissemia e homonímia. Por exemplo, "clube" pode se referir a um sanduíche, a um clube social ou a um taco de golfe. Embeddings de múltiplos sentidos abordam isso atribuindo vetores diferentes a sentidos diferentes. Abordagens incluem o Multi-Sense Skip-Gram (MSSG), que realiza discriminação de sentido da palavra e embedding simultaneamente, e o Non-Parametric Multi-Sense Skip-Gram (NP-MSSG), que permite um número variável de sentidos por palavra. A Anotação de Sentido Mais Adequado (MSSA) combina bases lexicais como o WordNet com desambiguação de sentido de palavras de maneira autossupervisionada.
Embeddings de múltiplos sentidos melhoram o desempenho em tarefas como etiquetagem de classes gramaticais, identificação de relações semânticas e análise de sentimentos. A partir do final da década de 2010, embeddings contextualmente significativas como ELMo e BERT fornecem representações em nível de token, onde cada ocorrência de uma palavra tem seu próprio embedding, refletindo melhor a natureza multissensorial.
Sequências Biológicas
Word embeddings foram estendidas a sequências biológicas, como DNA, RNA e proteínas, para aplicações em bioinformática. Asgari e colegas propuseram os BioVectors, que aplicam técnicas de embedding a n-gramas em sequências biológicas, permitindo a análise de similaridades funcionais e estruturais.
Aplicações e Impacto
Word embeddings são amplamente utilizadas em modelos de Machine learning e Deep learning, servindo como representações de entrada para tarefas como classificação de texto, tradução automática e resposta a perguntas. Elas são integrais a Large language models e arquiteturas Transformer (architecture), que se baseiam em embeddings em nível de token. A técnica influenciou pesquisas em instituições como universidade de Toronto e laboratório de IA de Stanford, e é implementada em ferramentas de empresas como Google DeepMind e OpenAI.
Direções Futuras
A pesquisa continua em melhorias para embeddings de palavras raras, alinhamento entre línguas e aplicações específicas de domínio. A mudança para embeddings contextuais amplamente superou as estáticas em muitas aplicações, mas as embeddings estáticas permanecem úteis para eficiência e interpretabilidade.