Salienzkarte

Eine Salienzkarte ist eine visuelle Darstellung, die die Regionen eines Bildes hervorhebt, die für eine gegebene Aufgabe am relevantesten sind, entweder für die menschliche visuelle Aufmerksamkeit oder für die Entscheidungen eines maschinellen Lernmodells. In der Computer Vision spiegeln solche Karten den Grad der Bedeutung jedes Pixels für das menschliche visuelle System oder für ein ansonsten undurchsichtiges Modell wider. Beispielsweise könnte ein Betrachter auf einem Foto zuerst ein Fort oder leichte Wolken betrachten; eine Salienzkarte dieses Bildes würde diese Regionen aufhellen, um ihre Hervorhebung anzuzeigen. Während Eye-Tracking-Salienzkarten den menschlichen Blick annähern, zeigen gradientenbasierte Salienzkarten im maschinellen Lernen, worauf ein Modell bei einer Vorhersage fokussiert.

Im Kontext der künstlichen Intelligenz sind Salienzkarten zu einem zentralen Werkzeug der erklärbaren KI geworden. Sie liefern visuelle Erklärungen, wie tiefe neuronale Netze zu Entscheidungen gelangen, indem sie die Eingabepixel oder -merkmale hervorheben, die den Ausgang am stärksten beeinflussen. Diese Technik ist besonders bei der Bildklassifikation und Objekterkennung verbreitet, erstreckt sich aber über Aufmerksamkeitskarten auch auf spätere Transformer-Architekturen. Das Konzept verbindet Kognitionswissenschaft und maschinelles Lernen, und seine Wurzeln in der menschlichen Wahrnehmung haben sowohl algorithmische Ansätze als auch Bewertungsmethoden geprägt.

Menschliche visuelle Salienz

Menschliche Salienzkarten zielen darauf ab, die Orte vorherzusagen, die zuerst die Aufmerksamkeit einer Person auf sich ziehen. Der primäre visuelle Kortex (V1) scheint gemäß der V1-Salienzhypothese für die Salienzkarte verantwortlich zu sein, was Salienz zu einem biologisch begründeten Phänomen macht. Computermodelle menschlicher Salienz stützen sich oft auf niedrigstufige Merkmale wie Farbe, Kontrast, Kanten und Bewegung.

Die häufigsten Anwendungen in diesem Bereich sind:

• Bild- und Videokompression: Das menschliche Auge fokussiert nur auf eine kleine Region von Interesse in einem Frame; die Verwendung einer Salienzkarte ermöglicht eine Codierung mit geringerer Qualität außerhalb dieser Region, wodurch die Dateigröße ohne wahrnehmbaren Verlust reduziert wird.
• Bild- und Videoqualitätsbewertung: Qualitätsmetriken, die Unterschiede in salienten Regionen stärker gewichten, erreichen eine höhere Korrelation mit subjektiven menschlichen Meinungen.
• Bild-Retargeting: Größenänderung von Bildern durch Erweitern oder Schrumpfen nicht-informativer Regionen, um wichtige Inhalte zu erhalten, basierend auf genauen Salienzschätzungen.
• Objekterkennung und -klassifikation: Anstatt komplexe Algorithmen auf das gesamte Bild anzuwenden, werden diese auf die salientesten Regionen angewendet, die wahrscheinlich die zu erkennenden Objekte enthalten.

Klassische Schätzalgorithmen gibt es in drei Haupttypen, wie in OpenCV implementiert: statische Salienz (basierend auf Bildmerkmalen und -statistiken), Bewegungssalienz (basierend auf Bewegung aus optischem Fluss, wobei bewegte Objekte salient sind) und Objektheit (die Begrenzungsrahmen um wahrscheinliche Objekte liefert). Es gibt auch eine neuere statische Methode namens visuelle Verzerrungsempfindlichkeit, die echte Kanten (Objektdkonturen) als salienter behandelt als texturierte Bereiche; sie verwendet kleine Gradientenschwellenwerte, morphologische Operationen und Distanztransformationen, um Kanten zu isolieren.

Salienz als Segmentierung

Salienzschätzung kann als ein Fall von Bildsegmentierung betrachtet werden. Bildsegmentierung ist der Prozess der Partitionierung eines digitalen Bildes in mehrere Segmente oder Superpixel. Das Ziel ist es, die Bilddarstellung in etwas Bedeutungsvolles und leichter Analysierbares zu vereinfachen, oft durch Zuweisung von Labels zu jedem Pixel. Für Salienz ist das Segmentierungsproblem binär: Jedes Pixel wird entweder als Teil des Vordergrunds (salient) oder des Hintergrunds beschriftet. Die Ausgabe ist oft eine binäre Maske, bei der das saliente Objekt weiß und der Rest schwarz markiert ist, oder eine kontinuierliche Heatmap, bei der die Intensität Salienz anzeigt.

Diese Verbindung ist besonders wichtig, da Segmentierungstechniken und Verlustfunktionen wiederverwendet werden können und das Gesamtverständnis saliener Regionen bei Aufgaben wie Bildsegmentierung hilft. Salienzkarten liefern jedoch typischerweise weiche oder abgestufte Wichtigkeit anstelle harter Grenzen.

Gradientenbasierte Salienz für Deep Learning

Bei Anwendung auf neuronale Netze wird eine Salienzkarte oft durch die Berechnung des Gradienten der Klassenscore in Bezug auf die Eingabe erstellt. Dies wurde in den 2010er Jahren für faltende Netzwerke entwickelt, und die ersten prominenten Ansätze verwendeten einfache Gradienten: Für jedes Pixel wird berechnet, wie empfindlich der Ausgabescore auf eine kleine Änderung dieses Pixels reagiert. Die Größe des Gradienten zeigt die relative Wichtigkeit an.

Es folgten ausgefeiltere Techniken:

• Integrierte Gradienten: Diese weisen Wichtigkeit zu, indem sie die Gradienten entlang eines Pfades von einer Basiseingabe zur tatsächlichen Eingabe summieren, um Sättigung zu berücksichtigen und Attribution sicherzustellen, falls sich Vorhersage-Scores nur an Zwischenpunkten ändern.
• Class Activation Mapping (CAM): Dies verwendet die Feature-Maps der letzten faltenden Schicht, deren Gewichte für die Zielklasse, und erzeugt eine grobe Salienzkarte, typischerweise in einer räumlichen Auflösung, die hochskaliert wird.
• Gradienten-gewichtetes Class Activation Mapping (Grad-CAM): Eine Erweiterung von CAM, die die Gradienten des Klassenscores in Bezug auf die Feature-Maps verwendet, um die Aktivierungen zu gewichten.

Diese Methoden sind spezifisch für faltende neuronale Netze (z. B. Residual Network (ResNet)), wurden aber über Aufmerksamkeitsmechanismen auf Transformer (architecture)-Modelle verallgemeinert, was Aufmerksamkeitskarten, Attention Rollout oder diskriminative Aufmerksamkeitskarten ergibt.

Aufmerksamkeitskarten in Transformatoren

Mit dem Aufstieg von Transformer (architecture)-Architekturen in der Verarbeitung natürlicher Sprache und im Sehen nehmen Salienzkarten die Form von Aufmerksamkeitsgewichten an. In einem Transformer berechnet der Multi-Head Attention-Mechanismus Scores, die anzeigen, wie stark ein Token in der Eingabe auf ein anderes achtet. Diese Gewichte können über Schichten und Köpfe aggregiert werden, um eine Salienzkarte für eine gegebene Eingabe, wie ein Bild, zu erzeugen. Techniken wie Attention Rollout und klassendiskriminative Aufmerksamkeitskarten wurden entwickelt, um diese Karten interpretierbarer zu machen.

Diese Karten werden oft verwendet, um Klassifikationsentscheidungen für Bilder zu erklären, aber dieselbe Idee gilt für Text, wo sie wichtige Wörter oder Tokens hervorheben. Seit den 2020er Jahren ist die Salienzerkennung in Transformatoren ein aktives Forschungsgebiet, das die Interpretierbarkeit von großen Sprachmodellen unterstützt, aber sie könnten weniger treu zum Modell sein als gradientenbasierte Karten, da Aufmerksamkeits-Scores nicht immer kausal für den Ausgang verantwortlich sind.

Beispiel-ALGORITHMUS-Implementierung

Während viele Algorithmen kompliziert sind, wurde eine einfache statische Salienzformel vorgeschlagen. Sie berechnet den Abstand jedes Pixels zu allen anderen Pixeln im Frame. Für ein Pixel I_k ist die Salienz SALS(I_k) gegeben durch die Summe über alle Pixel:

SALS(I_k) = Σ_{i=1}^N |I_k - I_i|,

wobei I_i der Pixelwert in [0,255] ist und N die Gesamtzahl der Pixel ist. Dies erweitert sich zu SALS(I_k) = |I_k - I_1| + |I_k - I_2| + ... + |I_k - I_N|.

Die Formel kann in Bezug auf das Bildhistogramm ausgedrückt werden: SALS(I_k) = Σ_n F_n × |I_k - I_n|, wobei F_n die Häufigkeit des Intensitätswerts n ist (n von 0 bis 255). Die Histogrammberechnung hat eine Rechenzeit von O(N). Dies ergibt eine eindeutige Darstellung der Wichtigkeit jedes Pixels relativ zum gesamten Bild.

Dieser Typ ist ein klassischer Ansatz, der heute oft durch neuronale Netze ersetzt wird, aber er veranschaulicht das Kernprinzip.

Neuronale Netzwerk-Salienzmethoden

Zusätzlich zu gradientenbasierten und traditionellen Methoden werden moderne neuronale Netze oft speziell trainiert, um Salienzkarten auszugeben, häufig für Video- und multimodale Daten. Drei bemerkenswerte Beispiele:

• TASED-Net: Besteht aus einem Encoder, der niedrig aufgelöste räumlich-zeitliche Merkmale extrahiert, gefolgt von einem Vorhersagenetzwerk, das die räumlichen Merkmale dekodiert, während alle zeitlichen Informationen aggregiert werden.
• STRA-Net: Integriert räumlich-zeitliche Merkmale durch visuelle und optische Flusskopplung und fokussiert multi-skalen Salienz mithilfe eines Aufmerksamkeitsmechanismus.
• STAViS: Kombiniert räumlich-zeitliche visuelle und auditive Informationen. Es verwendet ein einzelnes Netzwerk, das lernt, Schallquellen zu lokalisieren, und fusioniert dann die beiden Salienz-Hinweise, um die endgültige Karte zu erzeugen.

Diese Netzwerke werden auf Videodatensätzen trainiert, um menschliche Fixationen über die Zeit vorherzusagen. Sie zeigen, dass Salienz aus Daten gelernt werden kann, und sie bereichern Frame-basierte Methoden um Bewegung und Audio.

Anwendung in der erklärbaren KI

In der erklärbaren künstlichen Intelligenz (XAI) sind Salienzkarten eine prominente Methode, um zu verstehen, worauf ein KI-Modell schaut. Für ein Modell, das Bildklassifikation oder Objektidentifikation durchführt, zeigt die Salienzkarte genau an, welche Pixel oder Regionen für die Vorhersage am einflussreichsten sind. Wenn beispielsweise ein neuronales Netz ein Foto als Hund klassifiziert, könnte die Salienzkarte den Kopf und den Schwanz des Hundes hervorheben, nicht den Hintergrund. Dies hebt die Regionen hervor, die am meisten zu einer bestimmten Klassenentscheidung beitragen.

Die Wahl der Salienzmethode beeinflusst Qualität und Interpretierbarkeit. Einfache Gradienten sind schnell, können aber verrauscht sein und Wichtigkeit für irrelevante Regionen erzeugen, während integrierte Gradienten und CAM bedeutungsvollere Erklärungen liefern können. Im Hinblick auf Systemsicherheit und Verantwortlichkeit werden Salienzkarten verwendet, um zu verifizieren, dass ein Modell auf relevante Merkmale setzt, anstatt auf Scheinkorrelationen durch Hintergrund oder Wasserzeichen.

Salienzkarten erzählen jedoch nicht die ganze Geschichte. Sie zeigen Wichtigkeit an, aber nicht die Logik des Modells oder kontrafaktische Szenarien. Seit den 2020er Jahren wird weiterhin an robusteren und treueren Erklärbarkeitsmethoden geforscht.

Fazit

Salienzkarten überbrücken das Verständnis menschlicher visueller Wahrnehmung mit den inneren Abläufen von Deep-Learning-Modellen. Sie dienen sowohl als biologisches Modell der Aufmerksamkeit als auch als praktisches Werkzeug für Modell-Debugging, Bildkompression oder Entscheidungserklärung. Mit der Entwicklung von klassischer Bildverarbeitung zu Deep-Learning-Ansätzen und Transformer-basierter Aufmerksamkeit ist die Salienzkartierung flexibler und leistungsfähiger geworden, obwohl sie weiterhin Fragen darüber aufwirft, was genau eine „wichtige“ Region ausmacht. Ihre Entwicklung ist im Gange, und Salienzkarten sind ein integraler Bestandteil sowohl der Pixel-Ebene als auch der Interpretierbarkeit neuronaler Modelle.