Der Perceiver ist eine neuronale Netzwerk-Architektur, die 2021 von Forschern bei Google DeepMind eingeführt wurde. Sie wurde entwickelt, um eine breite Palette von Eingabetypen zu verarbeiten - darunter Bilder, Audio, Video und Punktwolken - ohne dass domänenspezifische Vorverarbeitung erforderlich ist. Im Gegensatz zu standardmäßigen Transformatoren, die quadratisch mit der Eingabelänge skalieren, verwendet der Perceiver ein festes latentes Array, um eine lineare Rechenkomplexität zu erreichen, was ihn für hochdimensionale Daten wie Rohpixel oder Audio-Wellenformen geeignet macht.
Die Architektur wurde erstmals in dem Papier „Perceiver: General Perception with Iterative Attention" beschrieben, das im März 2021 von Andrew Jaegle, Felix Gimeno, Andrew Brock und Kollegen veröffentlicht wurde. Das Modell basiert auf dem Transformer-Framework, ersetzt jedoch die Selbstaufmerksamkeit über die gesamte Eingabe durch einen zweistufigen Prozess: Kreuzaufmerksamkeit vom latenten Array zur Eingabe, gefolgt von Selbstaufmerksamkeit innerhalb des latenten Arrays. Dieses Design ermöglicht es dem Modell, Eingaben beliebiger Länge zu verarbeiten, während ein konstanter Speicherbedarf beibehalten wird.
Architektur
Der Perceiver besteht aus drei Hauptkomponenten: einem Eingabe-Encoder, einem latenten Array und einem Decoder. Der Eingabe-Encoder transformiert Rohdaten in eine Sequenz von Merkmalsvektoren, wobei häufig eine einfache Fourier-Merkmalsabbildung für Positionsinformationen verwendet wird. Das latente Array ist eine feste Menge gelernter Vektoren (typischerweise 256 oder 512), die als komprimierte Darstellung der Eingabe dienen. Kreuzaufmerksamkeitsebenen ermöglichen es jedem latenten Vektor, auf alle Eingabepositionen zu achten, während nachfolgende Selbstaufmerksamkeitsebenen Interaktionen zwischen den latenten Vektoren ermöglichen. Dieser iterative Prozess wird mehrmals wiederholt, wobei das latente Array sein Verständnis der Eingabe über mehrere Durchläufe verfeinert.
Eine wichtige Neuerung ist die Verwendung von Fourier-Merkmalen für die Positionskodierung, die es dem Modell ermöglicht, Eingaben unterschiedlicher Dimensionen und Auflösungen ohne explizite Positions-Einbettungen zu verarbeiten. Der Perceiver integriert auch eine Technik namens „Weight Tying" über Iterationen hinweg, bei der dieselben Kreuzaufmerksamkeits- und Selbstaufmerksamkeitsgewichte wiederverwendet werden, was die Parameteranzahl reduziert und die Generalisierung verbessert.
Varianten und Erweiterungen
Auf den ursprünglichen Perceiver folgte der Perceiver IO, der im Juni 2021 eingeführt wurde und die Architektur erweitert, um beliebige Ausgabestrukturen wie Klassifikationslabels, Segmentierungsmasken oder Sprach-Tokens zu verarbeiten. Perceiver IO verwendet ein Query-Array, um Ausgaben beliebiger Form zu dekodieren, was ihn zu einem allgemeinen Sequenz-zu-Sequenz-Modell macht. Eine weitere Variante, Perceiver AR, passt die Architektur für autoregressive Generierung an und ermöglicht die Erzeugung sequenzieller Ausgaben wie Text oder Audio.
Diese Varianten wurden auf Aufgaben wie Bildklassifikation, optische Zeichenerkennung und multimodales Lernen angewendet. Die Fähigkeit des Perceivers, rohe Audio-Wellenformen direkt ohne Spektrogramm-Vorverarbeitung zu verarbeiten, wurde in Audio-Klassifikations-Benchmarks demonstriert und erzielte wettbewerbsfähige Ergebnisse im Vergleich zu spezialisierten Modellen.
Anwendungen
Perceiver-Modelle wurden in mehreren praktischen Bereichen eingesetzt. In der Computervision wurden sie auf Bildklassifikation und Objekterkennung angewendet und erreichen oft die Leistung von Faltungsnetzwerken auf Standarddatensätzen wie ImageNet oder übertreffen sie. In der Audioverarbeitung kann der Perceiver lange Audio-Sequenzen verarbeiten, was ihn für Spracherkennung und Musikgenerierung nützlich macht. Die Architektur wurde auch für Reinforcement Learning untersucht, wobei sie hochdimensionale sensorische Eingaben wie Kamera-Feeds und Lidar-Daten verarbeitet.
Im Kontext der Künstliche-Intelligenz-Forschung ist der Perceiver für seine Allgemeinheit bemerkenswert, da er nicht auf domänenspezifische induktive Bias wie Faltung oder Rekurrenz angewiesen ist. Dies steht im Einklang mit dem breiteren Trend zu vereinheitlichten Modellen, die mehrere Modalitäten verarbeiten können - eine Richtung, die auch von großen Sprachmodellen und multimodalen Systemen verfolgt wird.
Vergleich mit anderen Architekturen
Im Vergleich zu standardmäßigen Transformatoren bietet der Perceiver erhebliche rechnerische Vorteile für lange Eingaben. Ein Transformer mit N Eingabe-Tokens erfordert O(N^2) Aufmerksamkeitsoperationen, während der Perceiver dies auf O(N * L) reduziert, wobei L die latente Größe ist (typischerweise viel kleiner als N). Dies macht es machbar, Eingaben mit Millionen von Tokens - wie hochauflösende Bilder oder lange Audio-Clips - auf einer einzelnen GPU zu verarbeiten.
Allerdings kann der iterative Aufmerksamkeitsprozess des Perceivers in der Praxis für kurze Eingaben langsamer sein, da mehrere Durchläufe erforderlich sind. Er erfordert auch eine sorgfältige Abstimmung der latenten Größe und der Anzahl der Iterationen. Im Vergleich zu Faltungsnetzwerken wie ResNet fehlt dem Perceiver die räumliche Lokalität, was ihn auf kleinen Datensätzen weniger probeneffizient machen kann, aber er kompensiert dies durch Flexibilität bei den Eingabeformaten.
Einfluss und Vermächtnis
Der Perceiver hat nachfolgende Forschung zu effizienten Aufmerksamkeitsmechanismen und allgemeinen Wahrnehmungsmodellen beeinflusst. Seine Ideen wurden in spätere Architekturen integriert, wie Perceiver-basierte Komponenten in multimodalen Modellen und die Verwendung latenter Engpässe in anderen Bereichen. Obwohl er in Produktionssystemen nicht so weit verbreitet ist wie Transformatoren, bleibt der Perceiver ein wichtiger Referenzpunkt für die Verarbeitung beliebiger Datentypen im Deep Learning.
Stand 2025 wird der Perceiver hauptsächlich in akademischer Forschung und spezialisierten Anwendungen eingesetzt, ohne größere kommerzielle Bereitstellungen durch große Technologieunternehmen. Seine Prinzipien fließen weiterhin in Arbeiten zu skalierbaren und modalitätsagnostischen Modellen im Bereich des maschinellen Lernens ein.