Word2vec é um conjunto de modelos de redes neurais relacionados, introduzidos por pesquisadores do Google em 2013, que aprendem representações vetoriais densas de palavras a partir de grandes corpora de texto não rotulados, capturando aspectos do significado e do uso das palavras por meio de aritmética vetorial, em vez de regras linguísticas elaboradas manualmente. Foi uma das primeiras técnicas de incorporação amplamente adotadas a demonstrar que relações semânticas entre palavras poderiam ser recuperadas diretamente de padrões de coocorrência de palavras no texto.
Método
Word2vec foi introduzido por meio de duas arquiteturas relacionadas descritas por Tomas Mikolov e colegas do Google, incluindo Jeff Dean e Ilya Sutskever, em artigos publicados em 2013: saco de palavras contínuo (CBOW), que prevê uma palavra-alvo a partir de suas palavras de contexto circundantes, e skip-gram, que prevê palavras de contexto circundantes dada uma palavra-alvo. Ambos são modelos rasos de rede neural de duas camadas treinados via aprendizado autossupervisionado, pois o sinal de treinamento é derivado automaticamente de texto bruto sem dados rotulados por humanos, usando palavras próximas como um sinal de supervisão implícito. A matriz de pesos resultante da camada oculta serve como os vetores de palavras aprendidos, tipicamente com algumas centenas de dimensões.
O exemplo "rei menos homem mais mulher"
A demonstração mais citada do word2vec é sua capacidade de aritmética vetorial que espelha relações semânticas e sintáticas: subtrair o vetor de "homem" de "rei" e adicionar o vetor de "mulher" produz um vetor mais próximo de "rainha" no espaço de incorporação aprendido. Estrutura analógica semelhante apareceu para relações como pares país-capital e tempo verbal, sugerindo que a geometria do espaço de incorporação codificava relações significativas e sistemáticas, em vez de agrupamentos arbitrários, um resultado que gerou entusiasmo substancial na comunidade de pesquisa em processamento de linguagem natural.
Impacto no PLN
Word2vec, juntamente com métodos contemporâneos como GloVe, tornou as incorporações de palavras pré-treinadas uma camada de entrada padrão para modelos de PLN downstream, substituindo representações esparsas de palavras one-hot em tarefas como tradução automática, análise de sentimentos e reconhecimento de entidades nomeadas. Sua eficiência, treinando em bilhões de palavras em horas em hardware padrão da época, tornou as representações distribuídas de palavras práticas em uma escala que não havia sido viável com modelos anteriores de linguagem neural.
Sucessores
As representações independentes de contexto do word2vec, que atribuem a cada palavra um único vetor fixo, independentemente do contexto circundante, foram superadas por modelos de incorporação contextual. O modelo BERT de 2018 e a família mais ampla de modelos construídos sobre a arquitetura Transformer (architecture) geram vetores diferentes para a mesma palavra, dependendo do contexto da frase, abordando a incapacidade do word2vec de distinguir, por exemplo, "banco" como margem de rio de "banco" como instituição financeira. Apesar de ter sido superado para a maioria das aplicações de ponta, o word2vec permanece amplamente utilizado como uma linha de base leve de incorporação e como um ponto de entrada pedagógico para o conceito mais amplo de representações vetoriais aprendidas que agora sustentam sistemas de busca semântica e recuperação em banco de dados vetorial.