Ein Vision Transformer (ViT) ist eine Art von Transformer, der für Computer Vision entwickelt wurde. Im Gegensatz zu Convolutional Neural Networks (CNNs), die Pixel durch Faltungsfilter verarbeiten, zerlegt ein ViT ein Eingabebild in eine Reihe quadratischer Patches, serialisiert jeden Patch in einen Vektor und bildet ihn mithilfe einer einzelnen Matrixmultiplikation auf eine niedrigdimensionale Einbettung ab. Diese Patch-Einbettungen werden anschließend von einem Transformer-Encoder verarbeitet, der Multi-Head-Attention-Mechanismen anwendet, um Beziehungen zwischen Patches zu erfassen. ViTs wurden als Alternativen zu CNNs eingeführt und bieten unterschiedliche induktive Verzerrungen, Trainingsstabilität und Dateneffizienz. Sie sind im Allgemeinen weniger dateneffizient als CNNs, haben jedoch eine höhere Kapazität, und einige der größten modernen Computervisionsmodelle, wie eines mit 22 Milliarden Parametern, sind ViTs.
Die ViT-Architektur wurde erstmals 2020 vorgeschlagen und erzielte schnell Spitzenergebnisse bei der Bildklassifikation, wodurch die bisherige Dominanz von CNNs überwunden wurde. Nachfolgende Forschung brachte viele Varianten hervor, darunter hybride Architekturen, die Merkmale von ViTs und CNNs kombinieren. ViTs finden Anwendung in der Bilderkennung, Bildsegmentierung, Wettervorhersage und im autonomen Fahren.
Geschichte
Transformer wurden 2017 in der Arbeit „Attention Is All You Need“ eingeführt und fanden breite Anwendung in der Verarbeitung natürlicher Sprache. 2019 wandte eine Arbeit Transformer-Ideen auf Computer Vision an, indem sie mit einem ResNet, einem Standard-CNN, begann und alle Faltungskernel durch den Selbstaufmerksamkeitsmechanismus ersetzte. Dieser Ansatz erzielte überlegene Leistung, war jedoch kein echter Vision Transformer.
2020 wurde ein Encoder-only-Transformer für Computer Vision angepasst, was den ViT hervorbrachte, der bei der Bildklassifikation den Stand der Technik erreichte. Der Masked Autoencoder (2022) erweiterte den ViT für unüberwachtes Training. Diese Entwicklungen stimulierten auch neue Fortschritte bei Convolutional Neural Networks und führten zu einer gegenseitigen Befruchtung der beiden Ansätze.
2021 wurden mehrere wichtige ViT-Varianten vorgeschlagen, um Effizienz, Genauigkeit oder Eignung für bestimmte Bereiche zu verbessern. Zwei Studien verbesserten Effizienz und Robustheit, indem sie ein CNN als Vorverarbeitungsschritt hinzufügten. Der Swin Transformer erreichte Spitzenergebnisse bei Objekterkennungsdatensätzen wie COCO, indem er faltungsähnliche gleitende Aufmerksamkeitsfenster und eine Pyramidenstruktur verwendete.
Überblick
Die grundlegende Architektur des ursprünglichen ViT von 2020 ist ein BERT-ähnlicher Encoder-only-Transformer. Das Eingabebild wird als Tensor der Form H × W × C dargestellt, wobei H, W und C für Höhe, Breite und Anzahl der Kanäle (typischerweise RGB) stehen. Das Bild wird in quadratische Patches der Größe P × P × C aufgeteilt. Jeder Patch wird abgeflacht und durch eine lineare Schicht geleitet, um eine Patch-Einbettung zu erhalten. Eine Positionskodierung, die die Position des Patches im Bild kodiert, wird zur Einbettung hinzugefügt. Die ursprüngliche Arbeit verglich keine Einbettung, 1D-, 2D- und relative Einbettungen und übernahm 1D.
Die Sequenz der Patch-Einbettungen wird anschließend von mehreren Transformer-Encoder-Schichten verarbeitet. Der Aufmerksamkeitsmechanismus in einem ViT transformiert wiederholt Darstellungsvektoren von Bildpatches und integriert semantische Beziehungen zwischen Patches, analog dazu, wie Transformer in der NLP Beziehungen zwischen Wörtern erfassen.
Um die Ausgabe für nachgelagerte Aufgaben zu nutzen, wird ein zusätzlicher Kopf trainiert. Für die Klassifikation wird eine flache MLP-Schicht (linear-GeLU-linear-softmax) oben hinzugefügt, die eine Wahrscheinlichkeitsverteilung über Klassen ausgibt.
Varianten
Ursprünglicher ViT
Der ursprüngliche ViT war ein Encoder-only-Transformer, der mit Überwachung trainiert wurde, um Bildlabels aus Patches vorherzusagen. Er verwendete ein spezielles [CLS]-Token im Eingang, und der entsprechende Ausgabevektor diente als Eingabe für den finalen MLP-Kopf. Dieser architektonische Trick erlaubte es dem Modell, alle labelrelevanten Informationen in einem Vektor zu komprimieren.
Transformer fanden zunächst Erfolg in der NLP, wie bei Modellen wie BERT und GPT-3 zu sehen ist. Im Gegensatz dazu verwendete die typische Bildverarbeitung CNNs, mit bekannten Beispielen wie Xception, ResNet, EfficientNet, DenseNet und Inception. Transformer messen Beziehungen zwischen Paaren von Eingabetokens, wobei die Kosten quadratisch mit der Anzahl der Tokens steigen. Für Bilder ist die Berechnung von Beziehungen für jedes Pixelpaar unerschwinglich, daher berechnet der ViT Beziehungen zwischen Pixeln in kleinen Abschnitten (z. B. 16×16 Pixel), was die Kosten drastisch reduziert. Jeder Abschnitt wird abgeflacht, mit einer Einbettungsmatrix multipliziert und zu einer Positionseinbettung addiert, bevor er dem Transformer zugeführt wird.
Pooling
Nach der Verarbeitung erzeugt der ViT Einbettungsvektoren, die in eine einzelne Klassenvorhersage umgewandelt werden müssen. Der ursprüngliche ViT und der Masked Autoencoder verwendeten ein Dummy-[CLS]-Token, in Anlehnung an BERT. Die Ausgabe am [CLS] wird durch ein LayerNorm-Feedforward-Softmax-Modul verarbeitet.
Global Average Pooling (GAP) nimmt stattdessen den Durchschnitt aller Ausgabetokens als Klassifikationstoken und wurde in der ursprünglichen Arbeit als gleichwertig erwähnt. Multihead Attention Pooling (MAP) wendet einen Multi-Head-Attention-Block an, um die Vektoren zu poolen, wobei eine Liste von Vektoren als Eingabe verwendet und eine gewichtete Kombination erzeugt wird.
Anwendungen und Auswirkungen
ViTs wurden auf eine breite Palette von Computervisionsaufgaben über die Klassifikation hinaus angewendet, darunter Objekterkennung, Segmentierung und Videoverständnis. Sie werden auch in der medizinischen Bildgebung und Fernerkundung eingesetzt. Die Architektur hat die Entwicklung groß angelegter Visionsmodelle beeinflusst und wurde in multimodale Systeme integriert, die Vision und Sprache kombinieren.
Trotz ihrer Vorteile benötigen ViTs mehr Daten, um effektiv trainiert zu werden als CNNs, was zur Entwicklung hybrider Modelle und Techniken wie Wissensdestillation und selbstüberwachtem Vortraining führte. Der Masked-Autoencoder-Ansatz ermöglichte unüberwachtes Lernen und reduzierte den Bedarf an gelabelten Daten.
ViTs haben auch Innovationen bei Hardware- und Softwareoptimierung angeregt, da ihre Aufmerksamkeitsmechanismen rechenintensiv sind. Die Forschung konzentriert sich weiterhin auf die Verbesserung von Effizienz, Interpretierbarkeit und Robustheit.
Siehe auch
- Transformer
- Convolutional Neural Network (nicht in der Liste, aber als Konzept)
- Masked Autoencoder (nicht in der Liste, aber als Konzept)
- Bildklassifikation (nicht in der Liste, aber als Konzept)