VizWiz é um conjunto de dados e referencial (benchmark) em larga escala para resposta a perguntas visuais (VQA) que se origina de consultas do mundo real feitas por indivíduos cegos e com baixa visão. Diferentemente dos conjuntos de dados VQA convencionais, que frequentemente contêm imagens da internet e perguntas de anotadores com visão normal, o VizWiz captura necessidades autênticas de usuários ao coletar imagens e perguntas faladas de usuários cegos em seus ambientes cotidianos. O conjunto de dados foi introduzido em 2018 por pesquisadores da Carnegie Mellon University e da Microsoft Research e, desde então, tornou-se um conjunto de avaliação padrão para sistemas de IA focados em acessibilidade.
O objetivo principal do VizWiz é avançar sistemas de inteligência artificial que possam ajudar usuários cegos a compreender conteúdo visual. O referente não inclui apenas a tarefa de resposta a perguntas, mas também uma tarefa complementar para prever se uma pergunta é respondível a partir da imagem, refletindo a realidade prática de que muitas imagens enviadas por usuários são borradas, mal enquadradas ou de outra forma insuficientes. O VizWiz tem sido usado para treinar e avaliar modelos em ambientes acadêmicos e industriais, e impulsionou o progresso em aprendizado multimodal, particularmente na integração de modelos de visão e linguagem.
Composição e Coleta do Conjunto de Dados
O conjunto de dados VizWiz foi coletado por meio de um aplicativo móvel que permitia que usuários cegos tirassem uma foto e gravassem uma pergunta falada sobre ela. Cada amostra consiste em uma imagem, uma pergunta falada transcrita em texto e múltiplas respostas anotadas por humanos. O lançamento inicial em 2018 continha mais de 31.000 perguntas visuais de mais de 8.000 usuários cegos, com cada pergunta recebendo 10 respostas de anotadores vistos. Um conjunto de validação separado e um conjunto de teste foram criados para garantir uma avaliação justa, com o conjunto de teste reservado para avaliação pública.
Uma característica distintiva do VizWiz é a inclusão de perguntas não respondíveis. Aproximadamente 30% das perguntas no conjunto de dados são consideradas não respondíveis pelos anotadores humanos devido a má qualidade de imagem ou contexto ausente. Esse aspecto torna o VizWiz mais desafiador do que os conjuntos de dados Típicos de VQA e destaca a necessidade de modelos reconhecerem suas próprias limitações, uma capacidade crítica para aplicações assistivas do mundo real.
Tarefas de Referência (Benchmark) e Avaliação
A tarefa principal no VizWiz é a resposta a perguntas visuais, onde um modelo deve gerar uma resposta correta dada uma imagem e uma pergunta. A avaliação usa a métrica padrão de precisão do VQA, que considera uma resposta correta se ela corresponder a pelo menos três das dez respostas fornecidas por humanos. Além disso, o VizWiz introduziu uma tarefa de classificação binária para verificabilidade, onde os modelos devem prever se uma pergunta pode ser respondida a partir da imagem. Essa configuração de dupla tarefa incentiva o desenvolvimento de sistemas que podem tanto fornecer respostas precisas quanto se abster quando necessário.
Desde seu lançamento, o VizWiz tem sido um referencial-chave na comunidade de aprendizagem de máquina, com diversos artigos relatando resultados sobre ele. Modelos baseados em arquiteturas de rede neural e técnicas de aprendizado profundo alcançaram precisão modesta no início, mas o advento de modelos baseados em Transformer (architecture)-based e modelos de linguagem grandes tem levado a melhorias significativas. Até 2025, sistemas de ponta usando transformer de visão-transformador multimodais podem responder corretamente a mais de 70% das perguntas respondíveis, embora o desempenho em perguntas não respondíveis permaneça um desafio.
Impacto na Acessibilidade e Tecnologia Assistiva
O VizWiz teve um impacto direto no desenvolvimento de tecnologias assistivas para usuários cegos. O conjunto de dados tem sido usado para treinar modelos que alimentam aplicativos móveis capazes de ler texto, identificar objetos e descrever cenas em tempo real. Empresas como Google DeepMind e OpenAI citaram o VizWiz em suas pesquisas sobre IA multimodal, e o referencial é frequentemente incluído em avaliações de sistemas comerciais de visão-linguagem.
O conjunto de dados também estimulou a criação de recursos relacionados, como VizWiz-VQA-Grounding, que adiciona anotações de ancoragem espacial para apoiar tarefas de localização de objetos. Essa extensão permite que modelos não apenas respondam a perguntas, mas também apontem para as regiões relevantes em uma imagem, aumentando ainda mais a usabilidade para usuários cegos e de leitores de tela ou feedback tátil.
desafios e limitações
Apesar de sua utilidade, o VizWiz tem limitações. O conjunto de dados é tendencioso em relação a usuários que falam inglês e principalmente reflete a demografia do período de coleta inicial. Imagens são frequentemente de baixa resolução e ruidosas, o que pode dificultar tanto o desempenho do modelo, em condições do mundo real. Além disso, a tarefa de respondibilidade é subjetiva, pois diferentes anotadores podem discordar sobre se uma pergunta é respondível, levando a ruído nos rótulos.
Também notaram que o VizWiz não captura completamente a diversidade de deficiências visuais ou os episódios de necessidades assistivas. Trabalos futuro pretendem expandir o conjunto de dados com mais idiomas, vários tipos de imagens e fontes de anotação mais ricas. No entanto, o VizWiz continua sendo um recurso fundamental para avaliar sistemas de IA em contextos de acessibilidade, e sua ênfase em perguntas reais de usuários continua a influenciar o design de IA humanamente.
Direções Futuras
À medida que IA generativa e modelos multimodais evoluem, o VizWiz provavelmente permanecerá um campo crítico de teste. A integração de modelos de linguagem grandes com codificadores de visão já melhorou a qualidade da resposta, e a pesquisa ongoing se concentra em tornar esses sistemas mais robustos a entrada ruidosa e erromente em lidar com perguntas não respondíveis. O mesmo também incentiva o desenvolvimento de modelos que podem explicar seu raciocínio, o que é importante para construir confiança com os usuários que dependem de IA para tarefas cotidianas.
A colaboração entre a academia e a indústria, como os envolvendo Carnegie Mellon University e microsoft-research, continua a impulsionar melhorias na IA de acessibilidade. O VizWiz serve como um lembrete de que os benchmarks de IA devem refletir as necessidades humanas reenvolvidas, não apenas novidade técnica, e inspirou esforços semelhantes em outros domarteees, como, como legenda de áudio e sensação tátil. Até 2025, o VizWiz continua a ser a ponto de referência padrão para medir o progresso em resposta a perguntas visuais para fins assistivos.