LVIS, abreviação de Large Vocabulary Instance Segmentation, é um conjunto de dados usado em visão computacional e aprendizado de máquina para avaliar e treinar modelos de segmentação de instâncias e detecção de objetos. Foi introduzido em 2019 por pesquisadores da Facebook AI Research (agora parte da Meta AI) para abordar o desafio do reconhecimento visual de cauda longa, onde a maioria das categorias de objetos no mundo real é rara, embora conjuntos de dados padrão se concentrem em um pequeno conjunto de classes comuns. O LVIS fornece um grande vocabulário de 1.203 categorias de objetos, variando de itens do cotidiano como 'banana' a objetos de nicho como 'crânio de tricerátops', com mais de 2 milhões de máscaras de segmentação de instâncias de alta qualidade anotadas em aproximadamente 164.000 imagens provenientes do conjunto de dados COCO. O design do conjunto de dados enfatiza a anotação exaustiva, o que significa que os anotadores foram instruídos a rotular cada instância de cada categoria presente em uma imagem, o que contrasta com conjuntos de dados anteriores que frequentemente ignoravam objetos raros. Isso torna o LVIS um benchmark rigoroso para modelos de aprendizado profundo, particularmente para medir o desempenho em categorias raras, e impulsionou pesquisas em técnicas como perda federada e recorte de gradiente dinâmico para mitigar o efeito de cauda longa.
A criação do LVIS foi motivada pela observação de que dados visuais do mundo real seguem uma distribuição de lei de potência, onde poucas categorias (por exemplo, 'pessoa', 'carro') aparecem com frequência, enquanto milhares de outras aparecem apenas ocasionalmente. Conjuntos de dados tradicionais como COCO ou ImageNet tinham um número limitado de categorias ou não forneciam máscaras em nível de pixel para todas as instâncias, limitando sua utilidade para reconhecimento de granulação fina. O LVIS foi construído reanotando um subconjunto de imagens do COCO com um conjunto de categorias muito maior, usando um pipeline de anotação crowdsourced que envolveu um processo de duas etapas: primeiro, uma fase de 'descoberta', onde os anotadores identificavam todos os objetos em uma imagem, e segundo, uma fase de 'verificação' para garantir completude e precisão. O conjunto de dados final inclui 1.203 categorias, divididas em três grupos de frequência: frequentes (mais de 100 imagens), comuns (10-100 imagens) e raras (menos de 10 imagens), com aproximadamente 77% das categorias caindo no grupo raro. Esse desequilíbrio é intencional, pois reflete condições do mundo real e força os modelos a generalizar além das categorias principais.
Estrutura do Conjunto de Dados e Anotação
O LVIS é construído sobre o conjunto de dados COCO, usando 164.000 de suas imagens de treinamento e validação, mas com um vocabulário de categorias significativamente expandido. Cada imagem é anotada com máscaras de segmentação em nível de instância, o que significa que cada instância de objeto é delineada no nível de pixel, não apenas limitada por uma caixa. O processo de anotação foi projetado para ser exaustivo: os anotadores eram obrigados a rotular todas as instâncias de todas as categorias presentes, mesmo que fossem pequenas, ocluídas ou borradas. Essa é uma diferença chave em relação ao COCO, que exigia apenas anotar 80 categorias e frequentemente pulava objetos raros. O conjunto de dados fornece um arquivo JSON com anotações em um formato semelhante ao COCO, incluindo campos para IDs de imagem, IDs de categoria, polígonos de segmentação e caixas delimitadoras. A lista de categorias foi curada a partir de uma combinação de synsets do WordNet e seleção manual, garantindo uma ampla cobertura de objetos do cotidiano, animais, alimentos e ferramentas.
Benchmark e Métricas de Avaliação
A principal métrica de avaliação para o LVIS é a Precisão Média (AP) padrão no estilo COCO, calculada em múltiplos limiares de Intersecção sobre União (IoU) (0,5 a 0,95). No entanto, o LVIS introduz uma reviravolta crítica: a AP é relatada separadamente para os três grupos de frequência (raro, comum, frequente), e a AP geral é a média dessas três APs de grupo, em vez de uma média simples sobre todas as categorias. Essa AP 'balanceada' garante que o desempenho em categorias raras não seja ofuscado por categorias comuns, tornando-a uma medida mais sensível da generalização de cauda longa. Por exemplo, um modelo que tem bom desempenho em 'pessoa', mas ruim em 'ábaco', pontuará mais baixo no LVIS do que no COCO. O benchmark também inclui uma 'AP de máscara' para segmentação de instâncias e uma 'AP de caixa' para detecção, com o leaderboard principal focando na AP de máscara. Desde seu lançamento, o LVIS tem sido usado em vários desafios, incluindo o Desafio LVIS no ICCV 2019 e workshops subsequentes, onde as principais inscrições empregaram técnicas como amostragem balanceada por classe, re-ponderação de perdas e uso de backbones maiores, como detectores baseados em transformadores.
Impacto no Aprendizado de Cauda Longa
O LVIS se tornou um testbed padrão para aprendizado de cauda longa, um subcampo da inteligência artificial preocupado com o treinamento de modelos em dados desbalanceados. O design do conjunto de dados estimulou inúmeras inovações algorítmicas. Um exemplo notável é a 'perda federada' proposta pelos autores do LVIS, que agrupa categorias em conjuntos 'federados' com base em sua frequência e calcula um softmax sobre cada grupo, evitando que categorias raras sejam sobrecarregadas por frequentes na função de perda. Outro é o 'recorte de gradiente dinâmico', que ajusta a magnitude do gradiente para categorias raras durante o treinamento. Trabalhos subsequentes exploraram treinamento desacoplado (primeiro aprendendo características, depois ajustando o classificador), aumento de dados para classes raras e uso de arquiteturas de redes neurais com melhor extração de características. O LVIS também influenciou outros conjuntos de dados, como Open Images e Objects365, que adotaram estratégias semelhantes de anotação exaustiva. Em 2025, o LVIS continua sendo um benchmark amplamente citado, com mais de 1.000 citações na literatura acadêmica, e é frequentemente usado em conjunto com modelos de visão-linguagem baseados em modelos de linguagem de grande escala para testar suas capacidades de reconhecimento zero-shot ou few-shot em objetos raros.
Conjuntos de Dados Relacionados e Extensões
O LVIS gerou várias extensões e esforços relacionados. O conjunto de dados do Desafio LVIS inclui um conjunto de validação de 20.000 imagens e um conjunto de teste, com anotações para as mesmas 1.203 categorias. Em 2020, os autores lançaram o LVIS v1.0, que corrigiu erros de anotação e expandiu o conjunto de treinamento para 100.000 imagens (dos 57.000 originais), melhorando a consistência. Uma variante chamada LVIS-OW (Open World) foi introduzida para segmentação de instâncias em mundo aberto, onde os modelos devem identificar objetos desconhecidos. Além disso, o LVIS foi integrado ao framework Detectron2, facilitando para pesquisadores treinar e avaliar modelos. A lista de categorias do conjunto de dados também foi usada em outras tarefas, como segmentação panóptica e segmentação de instâncias em vídeo, onde serve como um vocabulário comum. Apesar de seu sucesso, o LVIS tem limitações: é derivado de imagens do COCO, que são tendenciosas para fotos da web, e seu conjunto de categorias, embora grande, ainda é finito. Conjuntos de dados futuros, como os do projeto Ego4D, construíram sobre os princípios do LVIS para criar benchmarks ainda mais diversos.