視覚言語モデル（VLM）は、画像とテキストを共同で理解するよう訓練されたマルチモーダルシステムであり、画像キャプション生成、視覚的質問応答、画像テキスト検索、および言語を特定の視覚コンテンツに結び付ける根拠付き推論などのタスクを可能にする。VLMは基盤モデルのより広いカテゴリに位置し、通常はTransformer (architecture)アーキテクチャ上に構築される。
歴史
現代のVLMは、OpenAIのCLIP（2021年）に遡る。CLIPは、ウェブから収集した数億の画像テキストペアに対する対照学習を用いて、手動のカテゴリラベルを必要とせずに、画像とそのキャプションを共有埋め込み空間で整列させた。CLIPの埋め込みは分類を超えて有用であることが証明され、初期のText-to-image generationシステムにおけるガイダンス機構を支え、後のモデルにおける標準的な視覚エンコーダとなった。2021年から2023年にかけて、Flamingo、BLIP、LLaVAなどのモデルは、凍結または軽微に調整された視覚エンコーダを事前訓練済みのLarge language modelに接続する方法を探求し、言語モデルの推論と知識を比較的少ない追加訓練で視覚入力に拡張できるようにした。
アーキテクチャ
ほとんどのVLMは、多くの場合CNNまたは視覚トランスフォーマーである視覚エンコーダと、言語モデルのバックボーンを組み合わせ、画像特徴を言語モデルが既に理解するトークン埋め込み空間にマッピングする射影層で接続する。組み合わせたモデルは、ペアの画像テキストデータで訓練または微調整され、言語モデルがAttention mechanismを介してテキストトークンに注意を向けるのと同じように視覚トークンに注意を向けることを学習する。GeminiやGPT-4oを含む一部の新しいシステムは、別々に事前訓練された部品から組み立てられるのではなく、ネイティブに統一されたマルチモーダルモデルとして訓練され、VLMと一般的なマルチモーダル基盤モデルの境界を曖昧にしている。
能力と使用例
VLMは、画像の説明、グラフや図に関する質問への回答、埋め込まれたテキストの読み取りと推論（OCRと重複）、複数画像の比較ができ、ツール使用やエージェントループと組み合わせると、コンピュータ使用エージェントのように、スクリーンショットを解釈してソフトウェアを操作するなど、見たものに基づいて行動を起こすことができる。これらは、アクセシビリティ機能、ロボット知覚、医療画像トリアージツール、および画像を単に分類するのではなく推論する必要があるコンテンツモデレーションシステムを支えている。
評価と限界
VLMは、視覚的質問応答、チャートや文書の理解、細かい認識をカバーするベンチマークで評価されるが、正確な数え上げ、空間関係、または小さな文字や回転した文字の読み取りを必要とするタスクでは性能が依然として低下する。他のマルチモーダルシステムと同様に、VLMは画像に存在しない物体や詳細を幻覚することがあり、これは「物体幻覚」として研究される失敗モードであり、その動作は敵対的または誤解を招く視覚入力、特にモデルが指示として扱う画像内のテキスト（Prompt injectionの視覚的形態）によって操作される可能性がある。
代表的な例
広く使用されているVLMおよびVLM対応システムには、基盤エンコーダとしてのCLIP、オープン研究コミュニティにおけるLLaVAとその後継モデル、およびClaude、Gemini、GPT-4/GPT-4oなどの主要研究所からのマルチモーダルリリースが含まれ、これらはすべて視覚理解を汎用アシスタントに統合し、スタンドアロン製品として提供するのではなく、その一部としている。