Word2vec es un conjunto de modelos de redes neuronales relacionados, introducidos por investigadores de Google en 2013, que aprenden representaciones vectoriales densas de palabras a partir de grandes corpus de texto sin etiquetar, capturando aspectos del significado y el uso de las palabras mediante la aritmética vectorial en lugar de reglas lingüísticas elaboradas a mano. Fue una de las primeras técnicas de incrustación ampliamente adoptadas en demostrar que las relaciones semánticas entre palabras podían recuperarse directamente de los patrones de co-ocurrencia de palabras en el texto.
Método
Word2vec se introdujo mediante dos arquitecturas relacionadas descritas por Tomas Mikolov y sus colegas de Google, incluyendo a Jeff Dean y Ilya Sutskever, en artículos publicados en 2013: el saco continuo de palabras (CBOW), que predice una palabra objetivo a partir de las palabras de su contexto circundante, y skip-gram, que predice palabras de contexto circundantes dado una palabra objetivo. Ambas son modelos de red neuronal superficiales de dos capas entrenados mediante aprendizaje autosupervisado, ya que la señal de entrenamiento se deriva automáticamente de texto crudo sin datos etiquetados por humanos, usando las palabras vecinas como una señal de supervisión implícita. La matriz de peso resultante de la capa oculta sirve como los vectores de palabras aprendidos, con típicamente unos cientos de dimensiones.
El ejemplo de "king menos man más woman"
La demostración más citada de word2vec es su capacidad para aritmética vectorial que refleja relaciones semánticas y sintácticas: restar el vector de "man" de "king" y sumar el vector de "woman" produce un vector cercano a "queen" en el espacio de incrustaciones aprendido, que invertía en resultados con precisión. Aparentemente, en relación con los vectores de "man" y "woman", el resultado de la operación para "king" y "queen" era un error común; de hecho, la relación para "pares de ayer" y la relación de tercera persona son incluso más precisas que los ejemplos de relaciones direccionales directas, lo que hasta que se alcanzó el caso de relaciones direccionales como las verbales o las de capital de país aparecían estructuras análogas cuando se aritmética entre vectores de palabras, lo que sugería que la geometría del espacio de embebido abarcaba relaciones significativas y prácticas, parecidas a clústeres, no mayor significado estructural, resultando en un interés sustancial en la comunidad de investigación de procesamiento del lenguaje natural.
Impacto en el PLC
Word2vec, junto con métodos simultáneos como GloVe, convirtió las incrustaciones de palabras precargadas en una capa de entrada estándar para modelos de uso posterior en el procesamiento del lenguaje, sustituyendo las representaciones de palabras de una sola no, en tareas que incluyen traducción automática, análisis de sentimientos y reconocimiento de entidades nombradas. Su eficiencia, en funciones de entrenar sobre miles de millones de palabras en pocas horas en hardware estándar de su época, hizo práctica la representación distribuida de palabras en una escala que no había sido viable con modelos neuronales de lenguaje elocuente anteriores.
Sucesores
Las representaciones independientes del contexto de word2vec, que asignan a cada palabra un vector fijo individual independientemente del contexto circundante, fueron superadas por modelos de incrustación contextual. El modelo BERT de 2018 y el conjunto más amplio de modelos creados sobre la base de la arquitectura Transformer (architecture) producen vectores diferentes para la misma palabra según palabra de su contexto frasal, lo que evita el vencimiento en el contexto. Además, aunque superado para la mayoría de las aplicaciones de vanguardia, word2vec sigue siendo ampliamente utilizado como punto de referencia intermedio de manera ligera y como el punto de partida para la generación de modelos correspondiente, [ [semantic-search|búsqueda semántica]] y en los sistemas de recuperación de base de datos de vectores.