MMQA (Perguntas e Respostas Multimodais) é um conjunto de dados de referência (benchmark) projetado para avaliar sistemas de inteligência artificial em sua capacidade de responder perguntas que exigem raciocínio sobre múltiplos tipos de dados, incluindo texto, imagens, tabelas e vídeos. Introduzido por pesquisadores da Facebook AI Research (agora parte da Meta AI) em 2019, o conjunto de dados aborda a limitação dos benchmarks anteriores de perguntas e respostas que se concentravam em uma única modalidade, como entradas somente de texto ou somente de imagem. O MMQA fornece um conjunto diversificado de perguntas e respostas correspondentes que exigem a integração de informações de diferentes fontes, ampliando os limites dos modelos de aprendizado de máquina e aprendizado profundo em direção a uma compreensão mais semelhante à humana.
O conjunto de dados foi criado para apoiar o desenvolvimento de modelos capazes de lidar com consultas do mundo real, onde as informações estão dispersas em vários formatos. Diferentemente dos conjuntos de dados tradicionais, que assumem uma única fonte de verdade, o MMQA exige que os sistemas localizem, combinem e raciocinem sobre evidências de múltiplas modalidades simultaneamente. Isso o torna um ambiente de teste desafiador para arquiteturas de redes neurais, particularmente aquelas baseadas no modelo transformador, que se tornaram a abordagem dominante em processamento de linguagem natural e compreensão multimodal.
Construção e Composição
O MMQA foi construído coletando perguntas de trabalhadores da multidão (crowdworkers) que receberam um conjunto de artigos da Wikipedia, cada um contendo texto, imagens, tabelas e, em alguns casos, vídeos. Os trabalhadores foram solicitados a gerar perguntas que só poderiam ser respondidas combinando informações de pelo menos duas modalidades diferentes. Por exemplo, uma pergunta pode exigir a leitura de uma tabela de estatísticas e a observação de uma imagem para inferir uma relação, ou a visualização de um clipe de vídeo e a leitura de um trecho de texto para responder uma consulta factual.
O conjunto de dados final compreende mais de 12.000 pares de perguntas e respostas, com cada pergunta vinculada a uma página específica da Wikipedia. As respostas são pequenos trechos de texto, normalmente algumas palavras, extraídos do conteúdo de origem. O conjunto de dados é dividido em conjuntos de treinamento, validação e teste, sendo o conjunto de teste usado para avaliação oficial. As perguntas são projetadas para serem complexas e muitas vezes exigem raciocínio de múltiplas etapas, tornando o conjunto de dados significativamente mais difícil do que benchmarks de modalidade única, como SQuAD ou VQA.
Avaliação e Métricas
Os modelos são avaliados no MMQA usando métricas padrão de perguntas e respostas, principalmente correspondência exata (Exact Match - EM) e pontuação F1. A EM mede a porcentagem de perguntas em que a resposta prevista pelo modelo corresponde exatamente à resposta de referência, enquanto o F1 calcula a sobreposição de tokens entre a previsão e a resposta de referência, permitindo crédito parcial. Como as respostas são pequenos trechos, essas métricas fornecem uma medida direta de precisão.
Para obter sucesso no MMQA, um modelo deve não apenas compreender cada modalidade individualmente, mas também aprender a alinhar e fundir informações entre elas. Isso requer uma arquitetura sofisticada que possa codificar imagens, tabelas e vídeos em um espaço de representação comum, usando frequentemente modelos pré-treinados de visão e linguagem. Linhas de base iniciais, como a concatenação simples de características, tiveram desempenho inferior, destacando a necessidade de técnicas mais avançadas de fusão multimodal.
Impacto e Trabalhos Relacionados
O MMQA influenciou pesquisas subsequentes em compreensão multimodal e tem sido usado como benchmark em vários estudos. É frequentemente citado ao lado de outros conjuntos de dados multimodais, como Visual Question Answering (VQA) e TextVQA, mas se destaca pela inclusão de tabelas e vídeos, que são menos comuns em outros benchmarks. O conjunto de dados impulsionou o desenvolvimento de modelos que podem raciocinar conjuntamente sobre texto e imagens, e extensões posteriores incorporaram áudio e outras modalidades.
O lançamento do MMQA coincidiu com o surgimento de grandes modelos de linguagem e sistemas de IA generativa, que demonstraram capacidades notáveis em tarefas multimodais. No entanto, mesmo os modelos mais avançados em 2024 ainda consideram o MMQA desafiador, especialmente, para perguntas que exigem raciocínio detalhado sobre tabelas ou vídeos. Isso tornou o MMQA um teste de estresse valioso para avaliar a robustez dos sistemas de inteligência artificial em cenários do mundo real.
Limitações e Direções Futuras
Uma limitação do MMQA é que ele se baseia em artigos da Wikipedia, que são principalmente em inglês e têm um viés ocidental. Isso limita a diversidade de contextos culturais e linguísticos representados no conjunto de dados. Além disso, as respostas seções restringe a pequenos trechos, o que pode não captar a complexidade completa de algumas perguntas que exigem explicações mais longas.
Trabalhos futuros nesta área podem envolver expandir o MMQA para incluir mais idiomas, fontes mais diversificadas e respostas em formato mais longo. Os pesquisadores também estão explorando como tornar os modelos mais interpretáveis, para que possam explicar o processo de raciocínio por trás de suas respostas. À medida que a IA multimodal continua a evoluir, conjuntos de dados como MMQA permanecerão essenciais para medir o progresso e identificar áreas em que os modelos ainda não alcançam a compreensão do nível humano.