VizWiz es un conjunto de datos y punto de referencia a gran escala para la respuesta a preguntas visuales (VQA) que se origina en consultas del mundo real planteadas por personas ciegas y con baja visión. A diferencia de los conjuntos de datos VQA convencionales, que a menudo contienen imágenes de internet y preguntas de anotadores videntes, VizWiz captura necesidades auténticas de los usuarios al recopilar imágenes y preguntas habladas de usuarios ciegos en sus entornos cotidianos. El conjunto de datos fue presentado en 2018 por investigadores de la Universidad Carnegie Mellon y Microsoft Research, y desde entonces se ha convertido en un conjunto de evaluación estándar para sistemas de IA centrados en la accesibilidad.
El objetivo principal de VizWiz es avanzar en los sistemas de inteligencia artificial que puedan ayudar a los usuarios ciegos a comprender el contenido visual. El punto de referencia incluye no solo la tarea de respuesta a preguntas, sino también una tarea complementaria para predecir si una pregunta es respondible a partir de la imagen, lo que refleja la realidad práctica de que muchas imágenes enviadas por los usuarios son borrosas, mal encuadradas o insuficientes de otro modo. VizWiz se ha utilizado para entrenar y evaluar modelos tanto en entornos académicos como industriales, y ha impulsado el progreso en el aprendizaje multimodal, particularmente en la integración de modelos de visión y lenguaje.
Composición y recopilación del conjunto de datos
El conjunto de datos VizWiz se recopiló mediante una aplicación móvil que permitía a los usuarios ciegos tomar una foto y grabar una pregunta hablada sobre ella. Cada muestra consiste en una imagen, una pregunta hablada transcrita a texto y múltiples respuestas anotadas por humanos. El lanzamiento inicial en 2018 contenía más de 31,000 preguntas visuales de más de 8,000 usuarios ciegos, y cada pregunta recibía 10 respuestas de anotadores videntes. Se crearon un conjunto de validación y un conjunto de prueba separados para garantizar una evaluación justa, manteniendo el conjunto de prueba reservado para la evaluación pública.
Una característica distintiva de VizWiz es su inclusión de preguntas no respondibles. Aproximadamente el 30% de las preguntas en el conjunto de datos se consideran no respondibles por los anotadores humanos debido a la mala calidad de la imagen o la falta de contexto. Este aspecto hace que VizWiz sea más desafiante que los conjuntos de datos VQA típicos y resalta la necesidad de que los modelos reconozcan sus propias limitaciones, una capacidad crítica para aplicaciones de asistencia en el mundo real.
Tareas del punto de referencia y evaluación
La tarea principal en VizWiz es la respuesta a preguntas visuales, donde un modelo debe generar una respuesta correcta dada una imagen y una pregunta. La evaluación utiliza la métrica estándar de precisión de VQA, que considera una respuesta correcta si coincide con al menos tres de las diez respuestas proporcionadas por humanos. Además, VizWiz introdujo una tarea de clasificación binaria para la respondibilidad, donde los modelos deben predecir si una pregunta puede responderse a partir de la imagen. Este diseño de doble tarea fomenta el desarrollo de sistemas que puedan proporcionar respuestas precisas y abstenerse cuando sea necesario.
Desde su lanzamiento, VizWiz ha sido un punto de referencia clave en la comunidad de aprendizaje automático, con numerosos artículos que informan resultados sobre él. Los primeros modelos basados en arquitecturas de redes neuronales y técnicas de aprendizaje profundo lograron una precisión modesta, pero la llegada de modelos basados en transformadores y modelos de lenguaje grandes ha llevado a mejoras significativas. A partir de 2025, los sistemas de última generación que utilizan transformadores multimodales pueden responder correctamente a más del 70% de las preguntas respondibles, aunque el rendimiento en preguntas no respondibles sigue siendo un desafío.
Impacto en la accesibilidad y la tecnología de asistencia
VizWiz ha tenido un impacto directo en el desarrollo de tecnologías de asistencia para usuarios ciegos. El conjunto de datos se ha utilizado para entrenar modelos que impulsan aplicaciones móviles capaces de leer texto, identificar objetos y describir escenas en tiempo real. Empresas como Google DeepMind y OpenAI han citado VizWiz en su investigación sobre IA multimodal, y el punto de referencia a menudo se incluye en evaluaciones de sistemas comerciales de visión y lenguaje.
El conjunto de datos también impulsó la creación de recursos relacionados, como VizWiz-VQA-Grounding, que añade anotaciones de localización espacial para apoyar tareas de localización de objetos. Esta extensión permite que los modelos no solo respondan preguntas, sino que también señalen las regiones relevantes en una imagen, mejorando aún más la usabilidad para usuarios ciegos que dependen de lectores de pantalla o retroalimentación háptica.
Desafíos y limitaciones
A pesar de su utilidad, VizWiz tiene limitaciones. El conjunto de datos está sesgado hacia usuarios de habla inglesa y refleja principalmente la demografía del período de recopilación inicial. Las imágenes a menudo son de baja resolución y ruidosas, lo que puede obstaculizar el rendimiento del modelo, pero también refleja condiciones del mundo real. Además, la tarea de respondibilidad es subjetiva, ya que diferentes anotadores pueden discrepar sobre si una pregunta es respondible, lo que lleva a ruido en las etiquetas.
Los investigadores también han señalado que VizWiz no captura completamente la diversidad de discapacidades visuales ni la gama de necesidades de asistencia. El trabajo futuro tiene como objetivo expandir el conjunto de datos con más idiomas, condiciones de imagen variadas y anotaciones más ricas. No obstante, VizWiz sigue siendo un recurso fundamental para evaluar sistemas de IA en contextos de accesibilidad, y su énfasis en consultas reales de usuarios continúa influyendo en el diseño de IA centrada en el ser humano.
Direcciones futuras
A medida que evolucionan la IA generativa y los modelos multimodales, es probable que VizWiz siga siendo un banco de pruebas crítico. La integración de modelos de lenguaje grandes con codificadores de visión ya ha mejorado la calidad de las respuestas, y la investigación en curso se centra en hacer que estos sistemas sean más robustos ante entradas ruidosas y mejores en el manejo de preguntas no respondibles. El punto de referencia también fomenta el desarrollo de modelos que puedan explicar su razonamiento, lo cual es importante para generar confianza con los usuarios que dependen de la IA para tareas diarias.
Las colaboraciones entre la academia y la industria, como las que involucran a la Universidad Carnegie Mellon y microsoft-research, continúan impulsando mejoras en la IA de accesibilidad. VizWiz sirve como un recordatorio de que los puntos de referencia de IA deben reflejar necesidades humanas reales, no solo novedad técnica, y ha inspirado esfuerzos similares en otros dominios, como el subtitulado de audio y la detección táctil. A partir de 2025, VizWiz sigue siendo un punto de referencia estándar para medir el progreso en la respuesta a preguntas visuales con fines de asistencia.