コンテンツベース画像検索（CBIR）は、画像内容による問い合わせ（QBIC）やコンテンツベース視覚情報検索（CBVIR）とも呼ばれ、Computer visionの技術を画像検索問題、すなわち大規模データベース内のデジタル画像を検索するタスクに応用したものである。CBIRの決定的な特徴は、検索がキーワード、タグ、説明などのメタデータではなく、色、形状、テクスチャ、その他の導出可能な情報など、画像自体の内容を分析することにある。このアプローチは、人間の注釈の品質と完全性に依存する従来の概念ベースの手法とは正反対であり、その依存性は、非常に大規模または自動生成された画像コレクションでは問題となる。
CBIRシステムは、統計学、パターン認識、信号処理、Computer visionなどの分野の計算手法を採用している。この分野は、1990年代初頭の起源以来、デジタル画像リポジトリの成長と、大規模な手動注釈の非現実性によって大きく進化してきた。初期のシステムは基本的な視覚特徴抽出に依存していたが、現代の実装は、検索精度を向上させ、より複雑なクエリを処理するために、Machine learningおよびDeep learningの技術をますます活用している。
歴史的発展
「コンテンツベース画像検索」という用語は、1992年に日本の電総研（Electrotechnical Laboratory）の技術者である加藤俊一によって初めて使用され、色と形状に基づいてデータベースから画像を自動的に取得する実験を記述した。これは、テキスト記述のみに依存する以前のアプローチからの転換を示した。最初の商用CBIRシステムはIBMによって開発され、QBIC（Query By Image Content）と呼ばれた。単一のエンティティの一部として複数の画像を格納することはBLOB（Binary Large OBject）という用語より前から存在していたが、記述ではなく内容によって完全に検索する能力は、IBMのQBICシステムを待たなければならなかった。その後の発展には、既存の方法に代わる単純で魅力的な代替手段を提供するネットワークベースおよびグラフベースのアプローチが含まれる。
メタデータベースの検索との比較
従来の画像検索では、人間がデータベース内の画像にキーワードやメタデータを手動で注釈する必要があり、これは時間のかかるプロセスであり、画像を効果的に記述するために望まれる基準を捉えられない可能性がある。キーワードベースの検索の有効性の評価は主観的であり、明確に定義されておらず、CBIRシステムも成功を定義する際に同様の課題に直面している。キーワードはまた、クエリの範囲を所定の基準セットに制限し、そのような注釈は実際の画像内容を分析するよりも信頼性が低い。CBIRは、非常に大規模なデータベースや、監視カメラからの画像など自動生成された画像にとって特に価値があり、手動注釈は非現実的である。画像を意味クラス（例えば、「動物」のサブクラスとしての「猫」）に分類するシステムは、誤分類の問題を減らすことができるが、より広いカテゴリにのみ属する可能性のある画像を見つけるために、より多くのユーザー労力を必要とする。
クエリ技術
CBIRシステムは、さまざまなユーザーニーズに合わせた複数のクエリ方法をサポートしている。最も一般的なのはQuery By Example（QBE）であり、ユーザーは既存の画像を提供するか、ランダムなセットから選択するか、色のブロブや一般的な形状を使用して大まかな近似を描くことによって、例となる画像を提供する。結果は提供された例と共通の要素を共有する必要があり、この技術は画像を言葉で記述する際の困難を取り除く。
意味検索は、「エイブラハム・リンカーンの写真を見つける」のようなリクエストから始まるが、被写体が常に同じポーズや向きで現れるとは限らないため、コンピュータにとっては困難である。したがって、多くのCBIRシステムは、テクスチャ、色、形状などの低レベル特徴に依存しており、基準の入力を容易にするインターフェースと組み合わせるか、顔、指紋、形状などの特定の特徴に一致するように事前トレーニングされたデータベースと組み合わせる。一般に、高次概念の画像検索には人間のフィードバックが必要である。
他のクエリ方法には、例画像のブラウジング、カスタマイズまたは階層カテゴリのナビゲーション、画像全体ではなく画像領域によるクエリ、複数の例画像によるクエリ、視覚スケッチによるクエリ、画像特徴の直接指定、およびタッチ、音声、その他の入力を組み合わせたマルチモーダルクエリが含まれる。
関連フィードバックと機械学習
CBIR成功の重要な側面は、ユーザーの意図を理解することである。関連フィードバックにより、ユーザーは画像をクエリに対して「関連」、「無関係」、または「中立」としてマークすることで検索結果を段階的に絞り込むことができ、その後システムはこの新しい情報を組み込んで検索を繰り返す。この対話的アプローチは、他の人間中心設計要素とともに、CBIR開発における重要な焦点となっている。この分野では、検索パフォーマンスを向上させるためのMachine learningと反復技術の使用も増加している。初期のCBIRシステムは、色、テクスチャ、形状のプロパティに基づいてデータベースを検索した。これらのシステムが開発された後、ユーザーフレンドリーなインターフェースの必要性が明らかになり、記述的セマンティクスをサポートするクエリ方法、ユーザーフィードバック、ユーザーの満足度レベルを理解できるシステムを含む取り組みにつながった。
技術的進歩と課題
CBIRへの関心は、メタデータベースシステムの限界と、効率的な画像検索の潜在的なアプリケーションの広い範囲のために高まっている。テキスト情報は既存の技術で簡単に検索できるが、非常に大規模または自動生成されたコレクションではすべての画像を手動で記述することは非現実的であり、異なる同義語を使用した記述は画像が見逃される原因となる可能性がある。画像を分類するためのさまざまな標準が開発されてきたが、すべてスケーリングと誤分類の問題に直面している。多くのCBIRシステムが開発されてきたが、2006年の時点で、ピクセル内容に基づいて画像を取得する問題はほとんど未解決のままであった。2つの画像（通常は例画像とデータベースからの画像）を比較する最も一般的な方法は、抽出された視覚特徴に基づく距離測度を計算し、結果をそれに応じてランク付けすることである。現代のシステムは、特徴抽出と意味理解を向上させるためにDeep learningおよびNeural networkアーキテクチャをますます組み込んでいるが、人間レベルの完全な意味検索は依然として未解決の研究課題である。