Die inhaltsbasierte Bildsuche (CBIR), auch bekannt als Query by Image Content (QBIC) und inhaltsbasierte visuelle Informationssuche (CBVIR), ist die Anwendung von Computer-Vision-Techniken auf das Problem der Bildsuche: die Aufgabe, digitale Bilder in großen Datenbanken zu suchen. Das charakteristische Merkmal von CBIR ist, dass die Suche den Inhalt des Bildes selbst analysiert, wie Farben, Formen, Texturen oder andere ableitbare Informationen, anstatt Metadaten wie Schlüsselwörter, Tags oder Beschreibungen. Dieser Ansatz steht in direktem Gegensatz zu traditionellen konzeptbasierten Methoden, die von der Qualität und Vollständigkeit menschlicher Annotationen abhängen, eine Abhängigkeit, die bei sehr großen oder automatisch generierten Bildsammlungen problematisch wird.
CBIR-Systeme verwenden rechnerische Methoden aus Bereichen wie Statistik, Mustererkennung, Signalverarbeitung und Computer-Vision. Das Feld hat sich seit seinen Anfängen in den frühen 1990er Jahren erheblich weiterentwickelt, angetrieben durch das Wachstum digitaler Bildarchive und die Unpraktikabilität manueller Annotation in großem Maßstab. Während frühe Systeme auf grundlegender visueller Merkmalsextraktion beruhten, nutzen moderne Implementierungen zunehmend maschinelles Lernen und Deep-Learning-Techniken, um die Suchgenauigkeit zu verbessern und komplexere Abfragen zu bewältigen.
Historische Entwicklung
Der Begriff "inhaltsbasierte Bildsuche" wurde erstmals 1992 von Toshikazu Kato, einem Ingenieur des japanischen Electrotechnical Laboratory, verwendet, der Experimente zum automatischen Abrufen von Bildern aus einer Datenbank basierend auf ihren Farben und Formen beschrieb. Dies markierte einen Wandel gegenüber früheren Ansätzen, die ausschließlich auf textuellen Beschreibungen beruhten. Das früheste kommerzielle CBIR-System wurde von IBM entwickelt und hieß QBIC (Query By Image Content). Während die Speicherung mehrerer Bilder als Teil einer einzelnen Entität dem Begriff BLOB (Binary Large OBject) vorausging, musste die Fähigkeit, vollständig nach Inhalt statt nach Beschreibung zu suchen, auf IBMs QBIC-System warten. Spätere Entwicklungen umfassten netzwerk- und graphbasierte Ansätze, die einfache und attraktive Alternativen zu bestehenden Methoden boten.
Vergleich mit Metadatenbasierter Suche
Die traditionelle Bildsuche erfordert, dass Menschen Bilder manuell mit Schlüsselwörtern oder Metadaten in einer Datenbank annotieren, ein zeitaufwändiger Prozess, der möglicherweise nicht die Kriterien erfasst, die zur effektiven Beschreibung eines Bildes gewünscht sind. Die Bewertung der Effektivität von Schlüsselwortsuche ist subjektiv und nicht gut definiert, und CBIR-Systeme stehen vor ähnlichen Herausforderungen bei der Definition von Erfolg. Schlüsselwörter begrenzen auch den Umfang von Abfragen auf einen vorgegebenen Satz von Kriterien, und solche Annotationen sind weniger zuverlässig als die Analyse des tatsächlichen Bildinhalts. CBIR wird besonders wertvoll für sehr große Datenbanken oder für automatisch generierte Bilder, wie solche von Überwachungskameras, bei denen manuelle Annotation unpraktisch ist. Systeme, die Bilder in semantische Klassen einteilen (zum Beispiel "Katze" als Unterklasse von "Tier"), können Fehlklassifizierungsprobleme reduzieren, erfordern jedoch mehr Benutzeraufwand, um Bilder zu finden, die möglicherweise nur zu einer breiteren Kategorie gehören.
Abfragetechniken
CBIR-Systeme unterstützen verschiedene Abfragemethoden, die auf unterschiedliche Benutzerbedürfnisse zugeschnitten sind. Die häufigste ist Query By Example (QBE), bei der der Benutzer ein Beispielbild bereitstellt, entweder durch Bereitstellen eines vorhandenen Bildes, durch Auswahl aus einer zufälligen Menge oder durch Zeichnen einer groben Annäherung mit Farbblobs oder allgemeinen Formen. Ergebnisse sollten gemeinsame Elemente mit dem bereitgestellten Beispiel aufweisen, und diese Technik beseitigt Schwierigkeiten, die mit der Beschreibung von Bildern in Worten verbunden sind.
Die semantische Suche beginnt mit Anfragen wie "finde Bilder von Abraham Lincoln", was für Computer eine Herausforderung darstellt, da das Motiv nicht immer in derselben Pose oder Ausrichtung erscheint. Daher verlassen sich viele CBIR-Systeme auf niedrigere Merkmale wie Textur, Farbe und Form, entweder kombiniert mit Schnittstellen, die eine einfachere Eingabe von Kriterien ermöglichen, oder mit Datenbanken, die darauf trainiert sind, bestimmte Merkmale wie Gesichter, Fingerabdrücke oder Formen abzugleichen. Im Allgemeinen erfordert die Bildsuche nach höheren Konzepten menschliches Feedback.
Andere Abfragemethoden umfassen das Durchsuchen von Beispielbildern, das Navigieren in angepassten oder hierarchischen Kategorien, das Abfragen nach Bildregionen anstelle des gesamten Bildes, das Abfragen mit mehreren Beispielbildern, das Abfragen mit visuellen Skizzen, die direkte Angabe von Bildmerkmalen und multimodale Abfragen, die Berührung, Sprache und andere Eingaben kombinieren.
Relevanz-Feedback und maschinelles Lernen
Ein wichtiger Aspekt des CBIR-Erfolgs ist das Verständnis der Benutzerabsicht. Relevanz-Feedback ermöglicht es Benutzern, Suchergebnisse schrittweise zu verfeinern, indem sie Bilder als "relevant", "nicht relevant" oder "neutral" für die Abfrage markieren, woraufhin das System die Suche unter Einbeziehung dieser neuen Informationen wiederholt. Dieser interaktive Ansatz, zusammen mit anderen menschenzentrierten Designelementen, ist zu einem zentralen Schwerpunkt in der CBIR-Entwicklung geworden. Das Feld hat auch einen zunehmenden Einsatz von maschinellem Lernen und iterativen Techniken zur Verbesserung der Suchleistung gesehen. Frühe CBIR-Systeme durchsuchten Datenbanken basierend auf Farb-, Textur- und Formeigenschaften; nachdem diese Systeme entwickelt wurden, wurde die Notwendigkeit benutzerfreundlicher Schnittstellen deutlich, was zu Bemühungen führte, die Abfragemethoden mit deskriptiver Semantik, Benutzerfeedback und Systemen, die das Verständnis des Benutzerzufriedenheitsniveaus unterstützen, umfassten.
Technischer Fortschritt und Herausforderungen
Das Interesse an CBIR ist aufgrund der Einschränkungen metadatenbasierter Systeme und der breiten Palette potenzieller Anwendungen für eine effiziente Bildsuche gewachsen. Textuelle Informationen sind mit vorhandener Technologie leicht durchsuchbar, aber die manuelle Beschreibung jedes Bildes ist für sehr große oder automatisch generierte Sammlungen unpraktisch, und Beschreibungen mit verschiedenen Synonymen können dazu führen, dass Bilder übersehen werden. Es wurden verschiedene Standards zur Kategorisierung von Bildern entwickelt, aber alle stehen vor Skalierungs- und Fehlklassifizierungsproblemen. Es wurden viele CBIR-Systeme entwickelt, aber bis 2006 blieb das Problem des Abrufens von Bildern basierend auf Pixelinhalt weitgehend ungelöst. Die gebräuchlichste Methode zum Vergleich zweier Bilder (typischerweise eines Beispielbildes und eines Bildes aus der Datenbank) besteht darin, ein Distanzmaß basierend auf extrahierten visuellen Merkmalen zu berechnen, wobei die Ergebnisse entsprechend eingestuft werden. Moderne Systeme integrieren zunehmend Deep-Learning- und neuronale Netzwerk-Architekturen, um die Merkmalsextraktion und das semantische Verständnis zu verbessern, obwohl die vollständige semantische Suche auf menschlichem Niveau eine offene Forschungsherausforderung bleibt.