Linformer는 표준 self attention 메커니즘의 이차 계산 비용과 메모리 비용을 해결하기 위해 설계된 Transformer (architecture) 아키텍처입니다. 기존 트랜스포머에서 self-attention 계층은 시퀀스 내 모든 토큰 쌍 간의 유사도 점수를 계산하므로, 길이가 n인 시퀀스에 대해 O(n²)의 복잡도를 초래합니다. 이러한 확장성은 문서 처리, 유전체 데이터, 또는 고해상도 이미지 분석에서 발견되는 긴 시퀀스에 대해 prohibitive(사용이 불가능할 정도로 과도한)해집니다. Linformer는 키와 값 행렬을 더 낮은 차원의 공간으로 투영하여 선형 복잡도의 self-attention 메커니즘을 도입하며, 비용을 O(n)으로 줄이면서도 하위 작업에서 경쟁력 있는 성능을 유지합니다.
이 아키텍처는 Facebook AI Research(현재 Meta AI의 일부)의 연구원인 Sinong Wang, Belinda Z. Li, Madian Khabsa, Han Fang, Hao Ma가 작성한 2020년 논문에서 소개되었습니다. "Linformer: Self-Attention with Linear Complexity"라는 제목의 이 논문은 attention 행렬이 종종 저랭크(low-rank)임을 입증했으며, 이는 정보 손실 없이 훨씬 더 작은 행렬로 근사될 수 있음을 의미합니다. 이러한 통찰이 이 방법의 이론적 기초를 형성합니다.
메커니즘 및 저랭크 투영
Linformer의 핵심 혁신은 키와 값 행렬을 처리하는 방식에 있습니다. 표준 multi-head attention에서 attention 점수는 쿼리와 키의 곱의 softmax로 계산되며, 이는 n×n 행렬을 필요로 합니다. Linformer는 대신 키와 값을 시퀀스 길이 n보다 훨씬 작은 고정 차원 k로 투영하며, 학습된 선형 투영을 사용합니다. 이 투영은 attention 행렬을 n×n에서 n×k로 줄여 시퀀스 길이에 대해 선형 복잡도를 초래합니다.
k의 선택은 효율성과 정확성 사이의 균형을 맞추는 하이퍼파라미터입니다. 저자들은 많은 실제 작업에서 수천 개의 토큰으로 구성된 시퀀스에 대해 k 값이 약 128 또는 256이면 충분하다는 것을 보여주었습니다. 투영 행렬은 일부 변형에서 attention 헤드 간에 공유되어 매개변수 수와 메모리 사용량을 더욱 줄입니다.
다른 효율적 트랜스포머와의 비교
Linformer는 2020-2021년경에 개발된 더 넓은 효율적 트랜스포머 아키텍처 계열의 일부입니다. 이는 종종 reformer(locality-sensitive hashing 사용) 및 longformer(sliding window attention 사용)와 비교됩니다. 해싱을 통해 attention을 근사하는 Reformer와 달리, Linformer는 고정 저랭크 투영을 사용하며, 이는 더 단순하고 하드웨어 친화적입니다. attention을 로컬 창으로 제한하는 Longformer와 달리, Linformer는 압축된 형태이지만 전역 attention 정보를 유지합니다.
IMDb 감성 분석 및 텍스트 분류와 같은 벤치마크 작업에 대한 경험적 평가는 Linformer가 원래 트랜스포머와 유사한 정확도를 달성하면서 긴 시퀀스에 대해 훨씬 적은 메모리와 시간을 사용한다는 것을 보여주었습니다. 예를 들어, 길이 4096의 시퀀스에서 Linformer는 표준 트랜스포머에 비해 메모리 사용량을 최대 90%까지 줄일 수 있습니다.
응용 및 영향
Linformer의 주요 동기는 문서 요약, 긴 구절에 대한 질문 응답, 의료 또는 법률 기록 처리와 같은 작업에 중요한 더 긴 컨텍스트를 처리할 수 있게 하는 것이었습니다. 선형 확장성은 메모리와 계산이 제한된 모바일 폰이나 엣지 하드웨어와 같은 자원 제약 장치에 배포하는 데에도 매력적입니다.
attention에서 저랭크 근사라는 아이디어는 performer(random feature maps 사용) 및 flash-attention(I/O 최적화에 초점)을 포함한 후속 작업에 영향을 미쳤습니다. Linformer 자체는 2025년 현재 대규모 생산 모델에서 널리 사용되지는 않지만, 그 원리는 하이브리드 아키텍처에 통합되었으며 효율적 attention 메커니즘에 대한 연구에 정보를 제공했습니다.
한계 및 비판
Linformer의 한계 중 하나는 저랭크 가정이 모든 유형의 데이터에 적용되지 않을 수 있다는 점입니다. attention 패턴이 매우 희소하거나 복잡한 구조를 가진 작업의 경우, 고정 투영은 중요한 정보를 잃을 수 있습니다. 또한 투영 행렬은 학습 중에 학습되므로 모델은 새로운 작업에 적응하기 위해 처음부터 학습하거나 미세 조정되어야 합니다. 사전 학습된 트랜스포머에 수정 없이 직접 적용할 수는 없습니다.
또 다른 비판은 선형 복잡성이 고정 병목 차원 k를 희생하여 달성된다는 점이며, 매우 긴 시퀀스의 경우 k를 늘려야 할 수 있어 효율성 이점이 감소할 수 있습니다. 일부 연구는 또한 특정 자연어 추론 벤치마크와 같은 세분화된 토큰 수준 추론이 필요한 작업에서 Linformer의 성능이 저하된다는 점을 지적했습니다.
유산 및 향후 방향
Linformer 논문은 효율적 attention의 아이디어를 대중화한 초기 작업 중 하나였으며, 트랜스포머를 확장 가능하게 만드는 연구 물결에 기여했습니다. 저랭크 구조에 대한 강조는 적응형 랭크 선택 및 계층적 투영을 포함한 다양한 방식으로 확장되었습니다. 2025년 현재 OpenAI 및 Google DeepMind의 것과 같은 지배적인 대규모 언어 모델은 여전히 핵심 아키텍처에 표준 이차 attention을 사용하지만, Linformer와 같은 효율적 변형은 특수 응용 및 장기 컨텍스트 처리 연구에 여전히 관련이 있습니다.
이 아키텍처는 Deep learning에서 모델 표현력과 계산 효율성 사이의 균형을 이해하는 데 유용한 교육적 예시이기도 합니다. 단순성과 명확한 이론적 동기는 Neural network 설계 및 Artificial intelligence 시스템에 대한 고급 과정에서 일반적인 주제입니다.