Sherlock é um conjunto de dados e benchmark em larga escala para raciocínio de senso comum visual, introduzido em 2020 por pesquisadores da Universidade da Carolina do Norte em Chapel Hill e do Allen Institute for Artificial Intelligence. O conjunto de dados compreende mais de 103.000 pares de pergunta-resposta derivados de aproximadamente 21.000 imagens provenientes do projeto Visual Genome, com cada pergunta projetada para exigir conhecimento de senso comum além do simples reconhecimento de objetos. Sherlock foi criado para abordar uma lacuna nos benchmarks de resposta a perguntas visuais (VQA), que frequentemente focam em descrições literais de cenas, em vez do conhecimento implícito e cotidiano que os humanos usam para interpretar imagens.
O conjunto de dados é estruturado em torno de duas tarefas complementares: uma tarefa de resposta a perguntas de múltipla escolha e uma tarefa de geração de justificativas. Na tarefa de múltipla escolha, os modelos devem selecionar a resposta correta entre quatro opções, onde a resposta correta exige inferir propriedades ou relações não declaradas, como prever que uma pessoa segurando uma prancha de surfe provavelmente está perto de uma praia. A tarefa de geração de justificativas pede que os modelos produzam uma explicação em texto livre sobre por que uma determinada resposta está correta, incentivando os modelos a articular o raciocínio de senso comum por trás de suas previsões. Essa estrutura dupla torna Sherlock um teste rigoroso tanto das capacidades de reconhecimento quanto de raciocínio.
Construção e Anotação
Sherlock foi construído usando um pipeline de crowdsourcing em duas etapas. Primeiro, os anotadores receberam imagens do Visual Genome e foram solicitados a escrever perguntas que não pudessem ser respondidas simplesmente listando objetos ou atributos visíveis, mas que exigissem inferência de senso comum. Por exemplo, uma pergunta poderia ser: "Por que a pessoa está usando capacete?" quando o capacete está visível, mas o motivo (por exemplo, andar de motocicleta) não está. Segundo, cada pergunta foi emparelhada com quatro opções de resposta, uma correta e três distratores plausíveis, e os anotadores também escreveram uma breve justificativa explicando a resposta correta. O conjunto de dados final contém 103.302 perguntas, com uma divisão de treino/teste de aproximadamente 80/20, e cada imagem está associada a uma média de cinco perguntas.
Para garantir a qualidade, o processo de anotação incluiu múltiplas rodadas de revisão e filtragem. Perguntas ambíguas, que exigiam conhecimento factual externo (como eventos históricos específicos) ou que tinham múltiplas respostas plausíveis foram descartadas. O conjunto de dados resultante enfatiza o senso comum universal e cotidiano, como entender que uma pessoa segurando um guarda-chuva provavelmente espera chuva ou que uma faca de cozinha é usada para cortar alimentos.
Avaliação e Métricas
Os modelos são avaliados em duas métricas principais: precisão na tarefa de múltipla escolha e qualidade das justificativas geradas. Para a tarefa de múltipla escolha, a precisão é simplesmente a porcentagem de perguntas respondidas corretamente. Para a geração de justificativas, o artigo original usou pontuações BLEU, embora trabalhos subsequentes frequentemente tenham empregado métricas mais robustas, como ROUGE ou avaliação humana. O benchmark é projetado para ser desafiador para modelos contemporâneos; no artigo original, um modelo forte de resposta a perguntas visuais baseado em uma Residual Network (ResNet) e mecanismos de atenção alcançou uma precisão de cerca de 55%, em comparação com um desempenho humano de aproximadamente 90% em um subconjunto amostrado. Essa lacuna significativa destacou a dificuldade do raciocínio de senso comum visual e motivou pesquisas adicionais.
Significância e Impacto
Sherlock se tornou um benchmark padrão nos campos de Computer vision e Natural language processing, particularmente para pesquisas na interseção entre visão e linguagem. Ele tem sido usado para avaliar numerosos modelos, incluindo aqueles baseados em arquiteturas Transformer (architecture) e Large language models. A ênfase do conjunto de dados em raciocínio sobre reconhecimento simples influenciou benchmarks subsequentes, como VCR (Raciocínio de Senso Comum Visual) e OK-VQA, que similarmente exigem conhecimento externo. Sherlock também contribuiu para o desenvolvimento de métodos para gerar explicações em tarefas de visão-linguagem, uma área de interesse crescente para interpretabilidade e confiança em sistemas de Artificial intelligence.
O conjunto de dados tem sido particularmente útil para estudar as limitações de modelos de Deep learning. Por exemplo, análises mostraram que os modelos frequentemente dependem de regularidades estatísticas nas opções de resposta, em vez de raciocínio verdadeiro, e que eles têm dificuldade com perguntas que exigem inferência espacial ou temporal. Isso estimulou pesquisas em técnicas de treinamento mais robustas, incluindo Curriculum Learning e Data Augmentation, bem como a integração de bases de conhecimento externas.
Limitações e Críticas
Apesar de sua influência, Sherlock tem sido criticado em vários aspectos. O uso de BLEU para avaliação de justificativas é conhecido por correlacionar mal com o julgamento humano, levando a pontuações enganosamente baixas para justificativas válidas, mas com redação diferente. Além disso, a dependência do conjunto de dados em imagens do Visual Genome introduz vieses, como uma super-representação de objetos comuns e cenas de contextos urbanos ocidentais, o que pode limitar a generalização de modelos treinados nele. Alguns pesquisadores também notaram que o formato de múltipla escolha pode ser explorado por modelos que tiram vantagem de pistas linguísticas sutis nas opções de resposta, um problema comum a muitos benchmarks de VQA. Essas limitações provocaram pedidos por conjuntos de dados mais diversos e construídos adversarialmente.
Legado e Direções Futuras
Sherlock permanece um recurso amplamente citado na comunidade de visão-linguagem e é frequentemente usado como alvo de pré-treinamento ou avaliação para modelos que visam combinar compreensão visual e textual. Seu design inspirou conjuntos de dados subsequentes que focam em tipos específicos de senso comum, como raciocínio físico ou interações sociais. Em meados da década de 2020, modelos de última geração, incluindo aqueles construídos sobre arquiteturas Transformer (architecture) e treinados em corpora multimodais massivos, alcançaram precisão significativamente maior em Sherlock, com alguns excedendo 80%, embora o desempenho em nível humano permaneça elusivo. O conjunto de dados continua a servir como uma ferramenta valiosa para sondar as capacidades de raciocínio de sistemas de Generative AI e para desenvolver métodos que tornem esse raciocínio mais explícito e verificável.
Ver Também
- resposta a perguntas visuais
- raciocínio de senso comum
- conjunto de dados
- Visual Genome
Referências
O artigo original sobre Sherlock foi apresentado na Conferência de 2020 sobre Visão Computacional e Reconhecimento de Padrões (CVPR) e está disponível nos anais da CVPR. O conjunto de dados é hospedado publicamente e pode ser acessado através do site oficial do projeto.