O Perceiver é uma arquitetura de rede neural introduzida por pesquisadores do Google DeepMind em 2021. Ela é projetada para lidar com uma ampla gama de tipos de entrada - incluindo imagens, áudio, vídeo e nuvens de pontos - sem exigir pré-processamento específico de domínio. Diferentemente dos transformers padrão, que escalam quadraticamente com o comprimento da entrada, o Perceiver usa uma matriz latente de tamanho fixo para alcançar complexidade computacional linear, tornando-o adequado para dados de alta dimensionalidade, como pixels brutos ou formas de onda de áudio.
A arquitetura foi descrita pela primeira vez no artigo "Perceiver: General Perception with Iterative Attention", publicado em março de 2021 por Andrew Jaegle, Felix Gimeno, Andrew Brock e colegas. O modelo baseia-se no framework Transformer (architecture), mas substitui a auto-atenção sobre a entrada completa por um processo de duas etapas: atenção cruzada da matriz latente para a entrada, seguida de auto-atenção dentro da matriz latente. Esse design permite que o modelo processe entradas de comprimento arbitrário enquanto mantém uma pegada de memória constante.
Arquitetura
O Perceiver consiste em três componentes principais: um codificador de entrada, uma matriz latente e um decodificador. O codificador de entrada transforma dados brutos em uma sequência de vetores de características, frequentemente usando um mapeamento simples de características de Fourier para informações posicionais. A matriz latente é um conjunto fixo de vetores aprendidos (tipicamente 256 ou 512) que servem como uma representação comprimida da entrada. Camadas de atenção cruzada permitem que cada vetor latente atenda a todas as posições de entrada, enquanto camadas subsequentes de auto-atenção possibilitam interações entre os vetores latentes. Esse processo iterativo é repetido várias vezes, com a matriz latente refinando sua compreensão da entrada ao longo de múltiplas passagens.
Uma inovação chave é o uso de características de Fourier para codificação posicional, o que permite que o modelo lide com entradas de dimensões e resoluções variadas sem embeddings posicionais explícitos. O Perceiver também incorpora uma técnica chamada "compartilhamento de pesos" entre iterações, onde os mesmos pesos de atenção cruzada e auto-atenção são reutilizados, reduzindo a contagem de parâmetros e melhorando a generalização.
Variantes e Extensões
O Perceiver original foi seguido pelo Perceiver IO, introduzido em junho de 2021, que estende a arquitetura para lidar com estruturas de saída arbitrárias, como rótulos de classificação, máscaras de segmentação ou tokens de linguagem. O Perceiver IO usa uma matriz de consulta para decodificar saídas de qualquer formato, tornando-o um modelo de sequência para sequência de propósito geral. Outra variante, o Perceiver AR, adapta a arquitetura para geração autorregressiva, permitindo que produza saídas sequenciais como texto ou áudio.
Essas variantes foram aplicadas a tarefas como classificação de imagens, reconhecimento óptico de caracteres e aprendizado multimodal. A capacidade do Perceiver de processar formas de onda de áudio brutas diretamente, sem pré-processamento de espectrograma, foi demonstrada em benchmarks de classificação de áudio, alcançando resultados competitivos com modelos especializados.
Aplicações
Modelos Perceiver têm sido usados em vários domínios práticos. Em visão computacional, foram aplicados à classificação de imagens e detecção de objetos, frequentemente igualando ou superando o desempenho de redes convolucionais em conjuntos de dados padrão como ImageNet. Em processamento de áudio, o Perceiver pode lidar com sequências de áudio longas, tornando-o útil para reconhecimento de fala e geração de música. A arquitetura também foi explorada para aprendizado por reforço, onde processa entradas sensoriais de alta dimensionalidade, como feeds de câmera e dados de lidar.
No contexto da pesquisa em inteligência artificial, o Perceiver é notável por sua generalidade, pois não depende de vieses indutivos específicos de domínio, como convolução ou recorrência. Isso está alinhado com a tendência mais ampla em direção a modelos unificados que podem lidar com múltiplas modalidades, uma direção também perseguida por grandes modelos de linguagem e sistemas multimodais.
Comparação com Outras Arquiteturas
Comparado aos transformers padrão, o Perceiver oferece vantagens computacionais significativas para entradas longas. Um transformer com N tokens de entrada requer operações de atenção O(N^2), enquanto o Perceiver reduz isso para O(N * L), onde L é o tamanho latente (tipicamente muito menor que N). Isso torna viável processar entradas com milhões de tokens, como imagens de alta resolução ou clipes de áudio longos, em uma única GPU.
No entanto, o processo de atenção iterativa do Perceiver pode ser mais lento na prática para entradas curtas devido à sobrecarga de múltiplas passagens. Também requer ajuste cuidadoso do tamanho latente e do número de iterações. Comparado a redes convolucionais como ResNet, o Perceiver carece de localidade espacial, o que pode torná-lo menos eficiente em amostras em conjuntos de dados pequenos, mas compensa com flexibilidade nos formatos de entrada.
Impacto e Legado
O Perceiver influenciou pesquisas subsequentes em mecanismos de atenção eficientes e modelos de percepção de propósito geral. Suas ideias foram incorporadas em arquiteturas posteriores, como componentes baseados em Perceiver em modelos multimodais e o uso de gargalos latentes em outros domínios. Embora não seja tão amplamente implantado quanto os transformers em sistemas de produção, o Perceiver permanece um ponto de referência importante para lidar com tipos de dados arbitrários em aprendizado profundo.
Em 2025, o Perceiver é usado principalmente em pesquisa acadêmica e aplicações especializadas, sem grandes implantações comerciais por grandes empresas de tecnologia. Seus princípios continuam a informar o trabalho em modelos escaláveis e agnósticos de modalidade no campo do aprendizado de máquina.