MMQA（マルチモーダル質問応答）は、テキスト、画像、表、動画を含む複数の種類のデータにわたって推論を必要とする質問に回答する人工知能システムの能力を評価するために設計されたベンチマークデータセットである。2019年にFacebook AI Research（現在はMeta AIの一部）の研究者によって導入され、このデータセットは、テキストのみや画像のみの入力といった単一のモダリティに焦点を当てた初期の質問応答ベンチマークの限界に対処している。MMQAは、異なるソースからの情報の統合を必要とする多様な質問と対応する回答を提供し、機械学習および深層学習モデルの境界を、より人間らしい理解へと押し広げるものである。
このデータセットは、情報がさまざまな形式に分散している実世界のクエリを処理できるモデルの開発を支援するために作成された。単一の真実のソースを想定する従来のデータセットとは異なり、MMQAはシステムが複数のモダリティからの証拠を同時に特定し、組み合わせ、推論することを要求する。これにより、特に自然言語処理およびマルチモーダル理解における支配的なアプローチとなっているトランスフォーマーモデルに基づくニューラルネットワークアーキテクチャにとって、挑戦的なテストベッドとなっている。
構築と構成
MMQAは、クラウドワーカーにテキスト、画像、表、場合によっては動画を含む一連のWikipedia記事を提示し、少なくとも2つの異なるモダリティからの情報を組み合わせることによってのみ回答できる質問を生成するよう依頼して構築された。たとえば、統計の表を読み、画像を見て関係を推論する必要がある質問や、動画クリップを見てテキストの一節を読み、事実に関するクエリに回答する必要がある質問が含まれる場合がある。
最終的なデータセットは12,000を超える質問と回答のペアで構成され、各質問は特定のWikipediaページにリンクされている。回答はソースコンテンツから抽出された短いテキストのスパンであり、通常は数語である。データセットはトレーニング、検証、テストの各セットに分割され、テストセットは公式評価に使用される。質問は複雑になるように設計されており、多くの場合、多段階の推論を必要とするため、このデータセットはSQuADやVQAなどの単一モダリティのベンチマークよりもはるかに困難である。
評価と指標
モデルはMMQAで、標準的な質問応答指標、主に完全一致（EM）とF1スコアを使用して評価される。EMはモデルの予測回答が正解と完全に一致する質問の割合を測定し、F1は予測と正解の間のトークンの重複を計算して部分点を可能にする。回答は短いスパンであるため、これらの指標は正確さの直接的な尺度を提供する。
MMQAで成功するには、モデルは各モダリティを個別に理解するだけでなく、それらを横断して情報を整列および融合することを学習する必要がある。これには、画像、表、動画を共通の表現空間にエンコードできる高度なアーキテクチャが必要であり、多くの場合、事前学習済みの視覚モデルと言語モデルが使用される。特徴の単純な連結などの初期のベースラインは性能が低く、より高度なマルチモーダル融合技術の必要性を浮き彫りにした。
影響と関連研究
MMQAはその後のマルチモーダル理解の研究に影響を与え、多くの研究でベンチマークとして使用されている。これは、Visual Question Answering（VQA）やTextVQAなどの他のマルチモーダルデータセットとともに引用されることが多いが、他のベンチマークではあまり一般的ではない表と動画を含む点で際立っている。このデータセットは、テキストと画像を共同で推論できるモデルの開発を促進し、後の拡張では音声や他のモダリティも組み込まれている。
MMQAのリリースは、大規模言語モデルおよび生成AIシステムの台頭と同時期であり、これらはマルチモーダルタスクで顕著な能力を示している。しかし、2024年時点の最先端モデルでさえ、特に表や動画に対する細かい推論を必要とする質問では、MMQAが依然として困難であることがわかっている。これにより、MMQAは実世界のシナリオにおける人工知能システムの堅牢性を評価するための貴重なストレステストとなっている。
限界と将来の方向性
MMQAの限界の1つは、主に英語であり西洋中心のバイアスがあるWikipedia記事に依存していることである。これにより、データセットに表される文化的および言語的コンテキストの多様性が制限される。さらに、回答は短いスパンに制約されており、より長い説明を必要とする一部の質問の複雑さを完全に捉えていない可能性がある。
この分野の将来の研究には、MMQAをより多くの言語、より多様なソース、およびより長い形式の回答を含むように拡張することが含まれる可能性がある。研究者はまた、モデルが回答の背後にある推論プロセスを説明できるように、モデルをより解釈可能にする方法を模索している。マルチモーダルAIが進化し続けるにつれて、MMQAのようなデータセットは、進歩を測定し、モデルが人間レベルの理解にまだ達していない領域を特定するために不可欠であり続けるだろう。