Perceiver는 2021년 Google DeepMind의 연구자들이 소개한 신경망 아키텍처이다. 이는 이미지, 오디오, 비디오, 포인트 클라우드 등 다양한 입력 유형을 도메인별 전처리 없이 처리하도록 설계되었다. 입력 길이에 따라 이차적으로 확장되는 표준 트랜스포머와 달리, Perceiver는 고정 크기의 잠재 배열을 사용하여 선형 계산 복잡도를 달성하므로 원시 픽셀이나 오디오 파형과 같은 고차원 데이터에 적합하다.
이 아키텍처는 2021년 3월 Andrew Jaegle, Felix Gimeno, Andrew Brock 및 동료들이 발표한 논문 "Perceiver: General Perception with Iterative Attention"에서 처음 설명되었다. 이 모델은 Transformer (architecture) 프레임워크를 기반으로 하지만 전체 입력에 대한 자기 주의를 두 단계 프로세스로 대체한다: 잠재 배열에서 입력으로의 교차 주의, 이어서 잠재 배열 내에서의 자기 주의. 이 설계는 모델이 일정한 메모리 사용량을 유지하면서 임의 길이의 입력을 처리할 수 있게 한다.
Architecture
Perceiver는 입력 인코더, 잠재 배열, 디코더의 세 가지 주요 구성 요소로 이루어진다. 입력 인코더는 원시 데이터를 특징 벡터의 시퀀스로 변환하며, 종종 위치 정보를 위해 단순한 푸리에 특징 매핑을 사용한다. 잠재 배열은 입력의 압축된 표현 역할을 하는 고정된 학습 벡터 집합(일반적으로 256 또는 512개)이다. 교차 주의 레이어는 각 잠재 벡터가 모든 입력 위치에 주의를 기울일 수 있게 하며, 이후의 자기 주의 레이어는 잠재 벡터 간의 상호 작용을 가능하게 한다. 이 반복 프로세스는 여러 번 수행되며, 잠재 배열은 여러 패스를 통해 입력에 대한 이해를 정제한다.
핵심 혁신은 위치 인코딩을 위한 푸리에 특징의 사용으로, 명시적인 위치 임베딩 없이 다양한 차원과 해상도의 입력을 처리할 수 있게 한다. Perceiver는 또한 반복 간 "가중치 공유"라는 기법을 통합하여 동일한 교차 주의 및 자기 주의 가중치를 재사용함으로써 매개변수 수를 줄이고 일반화를 개선한다.
Variants and Extensions
원래 Perceiver는 2021년 6월에 소개된 Perceiver IO로 이어졌으며, 이는 분류 레이블, 분할 마스크 또는 언어 토큰과 같은 임의의 출력 구조를 처리하도록 아키텍처를 확장한다. Perceiver IO는 쿼리 배열을 사용하여 모든 형태의 출력을 디코딩하므로 범용 시퀀스-투-시퀀스 모델이 된다. 또 다른 변형인 Perceiver AR은 자동 회귀 생성을 위해 아키텍처를 적응시켜 텍스트나 오디오와 같은 순차적 출력을 생성할 수 있게 한다.
이러한 변형은 이미지 분류, 광학 문자 인식, 다중 모달 학습과 같은 작업에 적용되었다. Perceiver가 스펙트로그램 전처리 없이 원시 오디오 파형을 직접 처리할 수 있는 능력은 오디오 분류 벤치마크에서 입증되었으며, 전문 모델과 경쟁력 있는 결과를 달성했다.
Applications
Perceiver 모델은 여러 실용 영역에서 사용되었다. 컴퓨터 비전에서는 이미지 분류와 객체 감지에 적용되었으며, ImageNet과 같은 표준 데이터셋에서 합성곱 네트워크의 성능과 일치하거나 초과하는 경우가 많다. 오디오 처리에서는 Perceiver가 긴 오디오 시퀀스를 처리할 수 있어 음성 인식과 음악 생성에 유용하다. 이 아키텍처는 카메라 피드와 라이다 데이터와 같은 고차원 감각 입력을 처리하는 강화 학습에서도 탐구되었다.
인공지능 연구의 맥락에서 Perceiver는 합성곱이나 순환과 같은 도메인별 귀납적 편향에 의존하지 않는다는 점에서 일반성으로 주목할 만하다. 이는 여러 양식을 처리할 수 있는 통합 모델을 향한 광범위한 추세와 일치하며, 이 방향은 대규모 언어 모델과 다중 모달 시스템에서도 추구된다.
Comparison with Other Architectures
표준 트랜스포머와 비교할 때, Perceiver는 긴 입력에 대해 상당한 계산 이점을 제공한다. N개의 입력 토큰을 가진 트랜스포머는 O(N^2) 주의 연산을 필요로 하는 반면, Perceiver는 이를 O(N * L)로 줄이며, 여기서 L은 잠재 크기(일반적으로 N보다 훨씬 작음)이다. 이는 고해상도 이미지나 긴 오디오 클립과 같은 수백만 토큰의 입력을 단일 GPU에서 처리하는 것을 가능하게 한다.
그러나 Perceiver의 반복 주의 프로세스는 여러 패스의 오버헤드로 인해 짧은 입력에서 실제로 더 느릴 수 있다. 또한 잠재 크기와 반복 횟수의 신중한 조정이 필요하다. ResNet과 같은 합성곱 네트워크와 비교할 때, Perceiver는 공간적 지역성을 결여하여 작은 데이터셋에서 샘플 효율성이 떨어질 수 있지만, 입력 형식의 유연성으로 이를 보완한다.
Impact and Legacy
Perceiver는 효율적인 주의 메커니즘과 범용 지각 모델에 대한 후속 연구에 영향을 미쳤다. 그 아이디어는 이후 아키텍처에 통합되었으며, 예를 들어 다중 모달 모델의 Perceiver 기반 구성 요소와 다른 영역에서의 잠재 병목 현상 사용이 있다. 생산 시스템에서 트랜스포머만큼 널리 배포되지는 않았지만, Perceiver는 딥러닝에서 임의 데이터 유형을 처리하기 위한 중요한 참조점으로 남아 있다.
2025년 현재, Perceiver는 주로 학술 연구와 전문 응용 분야에서 사용되며, 대형 기술 기업의 주요 상업적 배포는 없다. 그 원리는 머신러닝 분야에서 확장 가능하고 양식에 구애받지 않는 모델에 대한 작업에 계속 정보를 제공하고 있다.