マルチモーダルAIは、機械学習システム、特に現代の基盤モデルを指し、テキスト、画像、音声、動画など複数の種類のデータを、単一のモデル内で受け入れ、処理し、しばしば生成することができる。これは、別々の専門システムを組み合わせるのではなく、一つのモデルで実現するものである。この用語は、テキストのみの大規模言語モデルや画像のみの畳み込みニューラルネットワーク分類器など、単一の入力・出力タイプを扱う初期の単一モーダルシステムと対比される。
歴史
マルチモーダル研究は現在のモデル世代より前から存在し、初期の研究では、コンピュータビジョンと自然言語処理を組み合わせ、画像キャプション生成や視覚的質問応答などのタスクに、別々のエンコーダを小さな接続ネットワークで橋渡しする方式を用いていた。大きな進展は、OpenAIのCLIP（2021年）によってもたらされた。これは、対照的事前学習を通じて画像とテキストの共有埋め込み空間を学習し、タスク固有のラベルなしで視覚的・言語的概念を関連付けることを可能にした。CLIPスタイルの埋め込みは、後のテキストから画像システム、特に拡散ベースの生成を導くものの基盤となった。
統合モデルへの移行
2023年から2024年にかけて、主要な研究所は、テキストモデルに視覚エンコーダを後付けする方式から、インターリーブされたテキスト、画像、音声、時には動画データを最初から学習する、真に統合されたトランスフォーマーベースのアーキテクチャの訓練へと移行した。GoogleのGeminiはネイティブにマルチモーダルとされ、OpenAIのGPT-4oもこの移行を体現しており、別々のサブモデル間をルーティングするのではなく、一つのモデル内で複数のモダリティを処理・生成する。これにより、視覚的理解を伴うリアルタイム音声会話や、画像と付随テキストを共同で推論する質問への回答などの能力が可能になった。
アーキテクチャ
マルチモーダルモデルは、通常、各モダリティをトークン化または埋め込みして、トランスフォーマーのバックボーンが一様に処理できる共有表現空間に変換する。画像や音声にはモダリティ固有のエンコーダを使用し、その出力をテキストトークンと同じ埋め込み次元に射影することもある。出力も同様にマルチモーダルであり、モデルがテキストを生成するか、GoogleのNano Banana画像エディタのようなシステムのように、拡散ベースの画像デコーダに生成を委ねることができる。中核となる注意機構により、モデルはモダリティ間でトークンを関連付けることができ、例えば、テキスト記述を特定の画像領域に接地することができる。
応用
マルチモーダルAIは、埋め込みテキストのOCR的な読み取りとレイアウト・画像理解を組み合わせた文書理解、画像を音声で説明するアクセシビリティツール、動画質問応答、視覚知覚と言語指示を組み合わせたロボットシステム、写真・スクリーンショット・ライブカメラ映像を解釈できる消費者向けアシスタントを可能にする。視覚言語モデルは、画像とテキストの共同理解に特化した主要なサブカテゴリであり、マルチモーダルAIは音声や動画も含むより広い包括用語である。
評価と限界
マルチモーダルシステムのベンチマークは、グラフ、図表、動画シーケンスに関する質問への回答など、モダリティ横断的な推論をテストする。しかし、正確な空間推論、数え上げ、画像内の密集した小さなテキストの読み取りを必要とするタスクでは、性能は依然として人間の能力に及ばない。モデルは画像に存在しない詳細を幻覚することもあり、また、モダリティを組み合わせることで、悪意のある指示がテキストだけでなく画像や音声クリップに隠される可能性があるため、プロンプトインジェクション攻撃の攻撃面が増大する。