Um banco de dados vetorial é um sistema para armazenar, indexar e consultar grandes quantidades de vetores de alta dimensionalidade, tipicamente embeddings produzidos por um modelo de aprendizado de máquina, de modo que um vetor de consulta possa ser comparado aos vetores armazenados mais próximos por distância, em vez de por correspondência exata de palavra-chave ou chave. Bancos de dados relacionais e de documentos tradicionais são construídos em torno de correspondências exatas e consultas de intervalo em campos estruturados; eles são pouco adequados para a pergunta que um banco de dados vetorial responde bem, a saber: "qual destes milhões de itens é mais semelhante em significado a este?"
Por que surgiram
A necessidade de busca vetorial dedicada cresceu diretamente do surgimento do Transformer (architecture) e dos grandes modelos de linguagem construídos sobre ele. À medida que organizações começaram a incorporar documentos, imagens e outros conteúdos para Semantic search e Retrieval-augmented generation, a busca por similaridade ingênua, comparando um vetor de consulta contra cada vetor armazenado um a um, tornou-se computacionalmente inviável além de algumas dezenas de milhares de itens. Algoritmos de vizinhos mais próximos aproximados (ANN), mais notavelmente grafos de pequeno mundo navegáveis hierárquicos (HNSW) e índices de arquivo invertido combinados com quantização de produto, tornaram possível buscar milhões ou bilhões de vetores em milissegundos ao custo de uma pequena e ajustável perda na precisão de recall.
Bancos de dados vetoriais criados especificamente para esse fim, como Pinecone, Weaviate, Milvus e Qdrant, surgiram no início dos anos 2020 para empacotar esses algoritmos ANN com os recursos operacionais esperados de um banco de dados: persistência, replicação, filtragem por metadados e escalabilidade horizontal. Ao mesmo tempo, bancos de dados estabelecidos adicionaram busca vetorial como um recurso, em vez de um produto independente, incluindo pgvector para PostgreSQL e índices vetoriais no Elasticsearch, Redis e MongoDB, borrando a linha entre "banco de dados vetorial" como uma categoria distinta e busca vetorial como uma capacidade acoplada à infraestrutura existente.
Como funcionam
Um fluxo de trabalho típico incorpora cada item de um corpus usando um modelo de embedding, armazena o vetor resultante junto com um identificador e metadados opcionais, e constrói um índice ANN sobre a coleção de vetores. No momento da consulta, o texto ou imagem de entrada é incorporado com o mesmo modelo, e o índice retorna os k vetores mais próximos por uma métrica de distância escolhida, mais comumente similaridade de cosseno, produto escalar ou distância euclidiana. Muitos sistemas suportam busca híbrida, combinando similaridade vetorial com filtragem tradicional por palavra-chave ou restrições de metadados, como limitar resultados a documentos de um intervalo de datas ou categoria específica.
Papel em aplicações de IA
Bancos de dados vetoriais tornaram-se uma peça central da infraestrutura de IA com o crescimento da Retrieval-augmented generation, onde passagens relevantes recuperadas de um índice vetorial são inseridas na Context window de um LLM para fundamentar suas respostas em documentos específicos e reduzir Hallucination (AI). Eles também sustentam sistemas de recomendação, busca de similaridade de imagens e áudio, pipelines de deduplicação e detecção de anomalias, em qualquer lugar onde "encontre coisas como esta" seja a consulta operativa.
Limitações e trade-offs
A busca ANN troca uma pequena quantidade de precisão por grandes ganhos de velocidade, e a escolha do tipo de índice e parâmetros envolve trade-offs reais entre latência de consulta, uso de memória e recall. A qualidade do embedding limita a qualidade da recuperação: um banco de dados vetorial só pode ser tão bom quanto o modelo de embedding que o alimenta, e uma incompatibilidade entre o modelo de embedding usado para indexar um corpus e o usado no momento da consulta degrada silenciosamente os resultados. Em meados dos anos 2020, bancos de dados vetoriais enfrentam pressão competitiva de LLMs de contexto longo que podem ingerir grandes quantidades de texto bruto diretamente, reduzindo, mas não eliminando, a necessidade de recuperação em algumas aplicações, e de bancos de dados de propósito geral que absorvem a busca vetorial como um recurso integrado, em vez de um sistema separado para operar.