マルチモーダル学習は、テキスト、音声、画像、動画などの複数の種類のデータ（モダリティと呼ばれる）を統合し、処理する深層学習の一種である。この統合により、複雑なデータのより全体的な理解が可能となり、視覚的質問応答、クロスモーダル検索、テキストから画像への生成、美的ランキング、画像キャプション生成などのタスクにおけるモデルのパフォーマンスが向上する。マルチモーダル学習は、深層学習時代の始まりである2011年に提案された。Google GeminiやGPT-4oなどの大規模マルチモーダルモデルは、2023年以降ますます普及しており、多様性の向上と現実世界の現象に対するより広範な理解を可能にしている。
動機
データは通常、異なる情報を伝える異なるモダリティを伴う。例えば、画像自体には示されていない情報を伝えるために画像にキャプションを付けることは非常に一般的である。同様に、テキストからは明らかでない情報を説明するために画像を使用する方が簡単な場合もある。その結果、類似した画像に異なる単語が現れる場合、これらの単語はおそらく同じものを説明している。逆に、一見異なる画像を説明するために単語が使用される場合、これらの画像は同じ物体を表している可能性がある。したがって、マルチモーダルデータを扱う場合には、異なるモダリティからの結合情報を捕捉できるように、情報を共同で表現できるモデルを使用することが重要である。
マルチモーダルトランスフォーマー
現代のマルチモーダルシステムは、しばしばトランスフォーマーアーキテクチャに依存している。CLIP（Contrastive Language-Image Pretraining）などのモデルは、対照的目的を最適化することで画像とテキストの共同表現を学習し、モデルが画像を対応するテキスト記述とマッチングできるようにする。これらのアプローチは、大規模言語モデルと生成AIの進歩に基づいており、OpenAIのGPT-4oやGoogle DeepMindのGeminiなどのシステムは、テキスト、画像、音声入力にわたる能力を示している。マルチヘッドアテンションとクロスアテンションメカニズムの統合により、これらのモデルはモダリティ間で情報を効果的に整列させることができる。
マルチモーダル深層ボルツマンマシン
ボルツマンマシンは、1985年にジェフリー・ヒントンとテリー・セジノフスキーによって発明された確率的ニューラルネットワークの一種である。ボルツマンマシンは、ホップフィールドネットワークの確率的で生成的な対応物と見なすことができる。それらは、統計力学におけるボルツマン分布にちなんで名付けられている。ボルツマンマシンのユニットは、可視ユニットと隠れユニットの2つのグループに分けられる。各ユニットは、活性化されているかどうかを表すバイナリ出力を持つニューロンのようなものである。一般的なボルツマンマシンは、任意のユニット間の接続を許可する。しかし、計算時間がマシンのサイズに対して指数関数的であるため、一般的なボルツマンマシンを使用した学習は非現実的である。より効率的なアーキテクチャは、隠れユニットと可視ユニットの間でのみ接続が許可される制限付きボルツマンマシンと呼ばれる。
マルチモーダル深層ボルツマンマシンは、画像やテキストなどの異なる種類の情報を同時に処理し、学習することができる。これは、各モダリティに対して個別の深層ボルツマンマシン（例えば、画像用とテキスト用）を持ち、追加の最上位隠れ層で結合することで顕著に実現できる。これらのモデルは、マルチモーダル学習への最も初期のアプローチの1つであり、特定の分類タスクや欠損データタスクにおいて依然として関連性がある。
応用
マルチモーダル機械学習は、さまざまな領域にわたって多数の応用がある：
- クロスモーダル検索：クロスモーダル検索により、ユーザーは異なるモダリティにわたってデータを検索でき（例えば、テキスト記述に基づいて画像を取得）、マルチメディア検索エンジンとコンテンツレコメンデーションシステムを改善する。
- 分類と欠損データ取得：マルチモーダル深層ボルツマンマシンは、分類タスクにおいてサポートベクターマシンや潜在的ディリクレ配分法などの従来のモデルよりも優れており、画像やテキストなどのマルチモーダルデータセット内の欠損データを予測できる。
- 医療診断：マルチモーダルモデルは、医用画像、ゲノムデータ、患者記録を統合し、特にがん検診において診断精度と早期疾患検出を改善する。
- コンテンツ生成：DALL-Eなどのモデルは、テキスト記述から画像を生成し、クリエイティブ産業に利益をもたらす一方、クロスモーダル検索は動的なマルチメディア検索を可能にする。
- ロボティクスと人間とコンピュータの相互作用：マルチモーダル学習は、音声、視覚、触覚などの感覚入力を統合することでロボティクスとAIの相互作用を改善し、自律システムと人間とコンピュータの相互作用を支援する。
- 感情認識：視覚、音声、テキストデータを組み合わせることで、マルチモーダルシステムは感情分析と感情認識を強化し、カスタマーサービス、ソーシャルメディア、マーケティングに応用される。
- コード検索：ソースコード構造（例えば、抽象構文木）と自然言語記述を組み合わせたマルチモーダル表現は、特定のクエリに対する関連コードスニペットの取得を改善する。ソースコードは、例えばメソッドの制御フローグラフを白黒画像に変換し、畳み込みニューラルネットワークで処理してマルウェアを検索するなど、2次元ピクセル画像としてレンダリングされることもある。
課題
マルチモーダル学習は、異なるモダリティが情報を異なる方法で表現し構造化できるため、困難である。2つの一般的な課題は、異なるモダリティのどの部分が互いに対応するかを決定する整列と、モダリティ間で情報をどのように組み合わせるべきかを決定する融合である。マルチモーダル学習の実世界での応用は、マルチモーダルAIに固有のさらなる課題に直面している。これには、データソースが利用できない場合のモダリティ欠落、冗長ではなく補完的な情報を提供するモダリティの選択、およびデータソースの組み合わせによるプライバシーリスク（各ソースで個別に匿名であっても個人が再識別される可能性がある）が含まれる。
将来の方向性
研究は、データ拡張やより洗練された融合方法などの技術を通じて、これらの課題に取り組み続けている。NVIDIA、AMD、Intelなどの企業による効率的なハードウェアの開発は、大規模マルチモーダルモデルの計算需要を支えている。2025年現在、マルチモーダル学習は活発な研究分野であり、AppleやSamsung Electronicsの消費者向けデバイスから、Amazon Web Services、Azure、Google CloudなどのクラウドプロバイダーがマルチモーダルAIサービスを提供するまで、産業全体に応用が拡大している。