Una incrustación (embedding) es una forma de representar un objeto, generalmente una palabra, frase, imagen o usuario, como un vector de números reales de longitud fija en un espacio continuo. La propiedad definitoria de una buena incrustación es que la cercanía geométrica en ese espacio corresponde a la similitud semántica: los vectores de "perro" y "cachorro" se sitúan cerca entre sí, mientras que "perro" y "mercado de valores" quedan lejos. Las incrustaciones convierten el problema simbólico y difuso del significado en aritmética que una red neuronal puede aprender y una computadora puede buscar de manera eficiente.
La idea precede al aprendizaje profundo. Los investigadores de semántica distribucional en los años 1990 argumentaron que "una palabra se caracteriza por la compañía que mantiene", y los primeros métodos basados en recuento, como el análisis semántico latente, construyeron representaciones de baja dimensión a partir de estadísticas de co-ocurrencia de palabras. La era moderna comenzó con Word2vec en 2013, que entrenó una red neuronal superficial para predecir palabras vecinas y produjo incrustaciones con la ahora famosa propiedad de que la aritmética vectorial podía capturar analogías, como "rey" menos "hombre" más "mujer" aterrizando cerca de "reina". GloVe, lanzado alrededor del mismo período, ofreció un enfoque competidor basado en recuento con resultados similares.
Cómo se producen las incrustaciones
Las incrustaciones de palabras estáticas como word2vec y GloVe asignan un vector fijo por palabra independientemente del contexto. Esto falla con palabras polisémicas: "banco" recibe un único vector que mezcla sus significados de río y financiero. La arquitectura transformador y su mecanismo de atención resolvieron esto produciendo incrustaciones contextuales, donde la misma palabra obtiene un vector diferente según la oración circundante. Modelos como BERT popularizaron las incrustaciones contextuales para tareas posteriores, y cada modelo de lenguaje grande moderno representa internamente tokens como incrustaciones que se refinan capa por capa.
Más allá del texto, las incrustaciones se generalizan a cualquier modalidad. CLIP entrena codificadores de imagen y texto conjuntamente para que una foto de un gato y el subtítulo "un gato" aterricen cerca en un espacio compartido, lo que sustenta gran parte de la generación de texto a imagen moderna y la recuperación multimodal. Los sistemas de recomendación incrustan usuarios y elementos en un espacio compartido para que la proximidad prediga la preferencia, y la biología ha adoptado el mismo truco para incrustar secuencias de proteínas.
Aplicaciones
Las incrustaciones son el sustrato para la búsqueda semántica, donde una consulta se incrusta y se compara contra un corpus de documentos incrustados usando similitud de coseno o producto punto en lugar de coincidencia exacta de palabras clave. Esta capacidad sustenta los sistemas de generación aumentada por recuperación, que incrustan una base de conocimiento una vez y recuperan los pasajes más relevantes en el momento de la consulta para fundamentar la respuesta de un LLM y reducir la alucinación. Almacenar y buscar millones o miles de millones de incrustaciones de manera eficiente es la tarea de una base de datos vectorial, que utiliza indexación de vecinos más cercanos aproximados para hacer que la búsqueda de similitud sea rápida a escala.
Las incrustaciones también impulsan la agrupación, la deduplicación, la detección de anomalías y la clasificación, ya que un clasificador lineal simple entrenado sobre buenas incrustaciones a menudo rinde de manera competitiva con modelos mucho más complejos entrenados desde cero. En sistemas de recomendación y clasificación de búsqueda, las incrustaciones de usuarios y elementos se aprenden frecuentemente de manera conjunta y se actualizan continuamente a medida que se acumulan datos de comportamiento.
Propiedades y limitaciones
La dimensionalidad de una incrustación, que típicamente varía de unos pocos cientos a unos pocos miles para texto, es una elección de diseño que equilibra la expresividad contra el costo de almacenamiento y cálculo. La estructura geométrica resultante a veces se llama espacio latente, e interpolar entre dos puntos en ese espacio puede producir ejemplos intermedios plausibles, una propiedad explotada ampliamente en modelos generativos de imagen y audio.
Las incrustaciones heredan sesgos presentes en sus datos de entrenamiento: se ha demostrado que las incrustaciones de palabras entrenadas en texto web codifican estereotipos de género y raza en sus relaciones geométricas, un hallazgo ampliamente citado en la investigación sobre sesgo algorítmico. También pueden ser frágiles ante cambios en la distribución, lo que significa que un modelo de incrustación entrenado en un dominio, como texto web general, puede rendir mal al aplicarse a un dominio especializado como documentos legales o médicos sin ajuste fino adicional. A pesar de estas advertencias, las incrustaciones siguen siendo uno de los bloques de construcción más duraderos y reutilizados en los sistemas modernos de IA, en gran medida sin cambios en concepto desde el avance de word2vec en 2013, incluso mientras los modelos que las producen se han vuelto mucho más capaces.