RWKV는 2021년 Bo Peng과 동료들이 소개한 대규모 언어 모델을 위해 설계된 신경망 아키텍처이다. 이 이름은 Reception, Weight, Key, Value라는 네 가지 핵심 요소에서 유래했다. 이 아키텍처는 트랜스포머와 순환 신경망의 강점을 결합한 것으로 유명하며, 추론 중 RNN의 계산 효율성을 유지하면서 트랜스포머 수준의 성능을 달성하는 것을 목표로 한다.
이차 복잡성을 가진 멀티 헤드 어텐션에 의존하는 표준 트랜스포머와 달리, RWKV는 시퀀스를 순환적으로 처리하는 선형 어텐션 메커니즘을 사용한다. 이를 통해 일정한 메모리 사용량으로 긴 컨텍스트를 처리할 수 있어, 자원이 제한된 기기에 배포하기에 특히 매력적이다. 이 모델은 독점 모델에 대한 오픈소스 대안으로 주목받았으며, 여러 프레임워크에서 구현이 제공된다.
아키텍처 및 메커니즘
RWKV의 핵심 혁신은 트랜스포머의 점곱 어텐션을 순환 공식으로 대체하는 선형 어텐션이다. 이 모델은 토큰을 순차적으로 처리하며 각 단계에서 업데이트되는 은닉 상태를 유지한다. 이 상태는 과거 컨텍스트 전체의 압축된 표현으로 작동하여, 전체 어텐션 행렬 없이도 장거리 의존성을 포착할 수 있게 한다.
이 아키텍처는 시간 혼합(time-mixing)이라는 기법을 사용하는데, 이는 학습된 감쇠 요인을 통해 현재 및 이전 토큰의 정보를 결합한다. 이는 트랜스포머의 위치 인코딩과 유사하지만 순환 방식으로 구현된다. 또한 모델은 최신 트랜스포머 설계와 유사하게 훈련 안정성을 위해 층 정규화와 잔차 연결을 통합한다.
전통적인 RNN과의 주요 차이점 중 하나는 RWKV가 병렬 스캔(parallel scan)이라는 기법을 사용하여 시간 단계에 걸쳐 병렬로 훈련될 수 있다는 점이다. 이는 순환의 선형성을 활용한다. 이를 통해 훈련 중 AMD 또는 NVIDIA와 같은 GPU(제공된 목록에 NVIDIA는 없지만 다른 공급업체에도 해당)에서 트랜스포머와 동일한 하드웨어 가속의 이점을 얻을 수 있다.
훈련 및 성능
RWKV 모델은 대규모 텍스트 말뭉치로 훈련되었으며, 공개된 가장 큰 버전은 140억 개의 매개변수에 도달한다. 벤치마크에서 RWKV는 언어 모델링, 질문 응답, 추론과 같은 작업에서 유사한 크기의 트랜스포머와 경쟁력 있는 성능을 보여주었다. 예를 들어, RWKV-4 시리즈는 표준 데이터셋에서 GPT 스타일 모델의 혼란도를 일치시키면서 추론 중 메모리를 훨씬 적게 사용할 수 있음을 입증했다.
훈련 과정은 Adam 최적화, 그래디언트 클리핑, 학습률 스케줄과 같은 표준 기법을 사용한다. 모델은 일반적으로 다른 대규모 언어 모델과 유사하게 GPU 클러스터에서 훈련된다. RWKV의 오픈소스 특성은 연구자와 취미 개발자들의 기여로 더욱 확장하려는 커뮤니티 주도 노력을 이끌었다.
추론 효율성
RWKV의 주요 장점은 추론 효율성이다. 순환적이기 때문에 모델은 모든 이전 토큰에 어텐션을 적용하는 대신 현재 토큰만 처리하고 고정 크기의 은닉 상태를 업데이트하면 된다. 이는 토큰당 O(1) 메모리 사용량을 초래하여 스마트폰이나 임베디드 시스템과 같은 엣지 기기에 배포하기에 적합하다. 이는 모든 이전 키-값 쌍을 캐시해야 하여 시퀀스 길이에 따라 메모리 소비가 증가하는 트랜스포머와 대조적이다.
메모리 사용량 감소는 각 단계에서 전체 컨텍스트에 대한 어텐션을 재계산할 필요가 없기 때문에 더 빠른 생성 속도도 가능하게 한다. 이로 인해 RWKV는 실시간 채팅 어시스턴트나 온디바이스 생성형 AI 애플리케이션과 같이 지연 시간과 리소스 제약이 중요한 애플리케이션에서 인기 있는 선택이 되었다.
생태계 및 채택
RWKV 프로젝트는 오픈소스이며, 코드는 GitHub과 같은 플랫폼에서 제공된다. 이는 코드 생성 및 다국어 지원과 같은 특정 작업을 위한 미세 조정 변형을 만든 개발자 커뮤니티를 형성했다. 이 아키텍처는 PyTorch 및 JAX를 포함한 인기 있는 머신 러닝 프레임워크에 구현되었으며, 프로덕션 사용을 위한 경량 C++ 및 Rust 구현도 있다.
여러 회사와 연구 그룹은 트랜스포머 기반 모델의 대안으로 RWKV를 탐구했다. 예를 들어, 알리바바 클라우드는 클라우드 서비스에서 효율적인 추론을 위해 RWKV를 실험했다. 이 모델은 또한 효율적인 시퀀스 모델링에 대한 학술 연구에서 사용되었으며, 이론적 특성과 확장에 관한 논문이 발표되었다. 트랜스포머만큼 널리 채택되지는 않았지만, RWKV는 독특한 트레이드오프로 딥 러닝 커뮤니티에서 틈새를 확립했다.
한계 및 향후 방향
RWKV는 트랜스포머에 비해 몇 가지 한계가 있다. 순환적 특성으로 인해 특정 시퀀스-투-시퀀스 문제와 같은 양방향 컨텍스트가 필요한 작업에는 덜 유연할 수 있다. 또한 선형 어텐션 메커니즘은 특히 정밀한 토큰 간 상호작용이 필요한 작업에서 전체 어텐션에 비해 표현력이 떨어질 수 있다. 연구자들은 게이팅 메커니즘을 통합하거나 RWKV와 희소 어텐션을 결합한 하이브리드 접근 방식과 같은 변형을 제안하여 이러한 문제를 해결하려고 했다.
향후 작업에는 RWKV를 더 큰 매개변수 규모로 확장하고, 훈련 안정성을 개선하며, 멀티모달 설정에서의 사용을 탐구하는 것이 포함된다. 이 아키텍처의 효율성은 온디바이스 AI의 유망한 후보로 만들며, 지속적인 개발은 상업 제품에서 더 넓은 채택으로 이어질 수 있다. 2025년 현재 RWKV는 정기적인 업데이트와 커뮤니티 기여가 있는 활발한 연구 분야로 남아 있다.