GPTQ는 사후 훈련 양자화 기법으로, 대규모 언어 모델(LLM)의 가중치 수치 정밀도를 줄여 압축하도록 설계되었다. Elias Frantar, Saleh Ashkboos, Torsten Hoefler, Dan Alistarh를 포함한 연구자들이 2022년에 개발했으며, 수십억 개의 매개변수를 가진 모델이 제한된 메모리를 가진 소비자 하드웨어에서 실행될 수 있게 한다. 이 방법은 LLaMA 및 Mistral과 같은 모델을 로컬 장치에 배포하기 위해 오픈소스 AI 생태계에서 널리 채택되고 있다.
양자화 인식 훈련과 달리 GPTQ는 재훈련이나 원본 훈련 데이터셋에 대한 접근이 필요하지 않다. 사후 훈련 방식으로 작동하며, 소규모 교정 데이터셋을 사용하여 가중치를 조정하고 저정밀 표현으로 인해 발생하는 오류를 최소화한다. 이는 전체 재훈련이 계산적으로 불가능한 대규모 모델에 실용적이다. GPTQ는 일반적으로 가중치를 4비트 정수로 압축하여 메모리 사용량을 4배 줄이면서도 모델의 원래 예측 성능 대부분을 유지한다.
기술적 접근 방식
GPTQ는 손실 함수의 헤세 행렬과 같은 근사 2차 정보를 기반으로, 어떤 가중치 섭동이 출력에 가장 적은 영향을 미치는지 결정한다. 레이어를 순차적으로 처리하며, 가중치 행렬의 열을 양자화하면서 나머지 가중치를 업데이트하여 양자화 오류를 보상한다. Optimal Brain Quantization 프레임워크에서 파생된 이 반복적 접근 방식은 양자화할 가중치를 탐욕적으로 선택하고 누적 오류를 줄이기 위해 닫힌 형태의 업데이트를 적용한다.
이 방법은 3비트 및 2비트를 포함한 다양한 비트 폭을 지원하지만, 압축과 정확성의 균형 때문에 4비트가 가장 일반적이다. GPTQ는 또한 그룹별 양자화를 통합하여 가중치를 그룹으로 나누고 각 그룹에 자체 스케일링 요소를 두어 이상치가 많은 분포에 대한 정확성을 향상시킨다. 구현은 GPU 가속에 최적화되어 있으며, 추론 중 효율적인 행렬 연산을 위해 CUDA 커널을 활용한다.
성능 및 정확성
실증 평가는 GPTQ가 OPT-175B와 같은 모델을 4비트 정밀도로 압축할 수 있으며, 언어 모델링 혼란도 및 하위 작업과 같은 표준 벤치마크에서 무시할 수 있는 정확성 저하를 보인다는 것을 보여준다. 예를 들어, 1,750억 개의 매개변수 모델을 4비트로 압축하면 32비트 부동 소수점의 350GB에서 약 87.5GB의 메모리가 필요하므로 단일 고급 GPU에 배포할 수 있다. 일부 경우 3비트 양자화는 약간 더 큰 오류를 도입하지만 많은 응용 프로그램에서 여전히 사용 가능하다.
정확성 손실은 모델 아키텍처와 교정 데이터 크기에 따라 다르다. 훈련 분포에서 수백 개의 샘플을 사용하는 것이 일반적으로 충분하다. 이 방법은 현대 대규모 언어 모델을 지배하는 트랜스포머 기반 모델에 특히 효과적이다. 반올림 양자화와 같은 초기 기법과 비교하여 GPTQ는 특히 극단적인 가중치 분포를 가진 모델에서 오류를 일관되게 줄인다.
채택 및 생태계
GPTQ는 오픈소스 머신러닝 커뮤니티에서 표준 도구가 되었다. Hugging Face Transformers 및 사용자 친화적인 인터페이스를 제공하는 AutoGPTQ 패키지와 같은 인기 있는 라이브러리에 통합되어 있다. Hugging Face Hub와 같은 플랫폼에서 사전 양자화된 모델 체크포인트가 많이 제공되므로 사용자가 직접 양자화를 수행하지 않고도 인기 모델의 4비트 버전을 다운로드할 수 있다.
이 방법은 가지치기 및 지식 증류와 같은 다른 압축 기법을 보완하며, CPU 추론을 위한 llama.cpp 프로젝트의 런타임 최적화와 같은 것과 자주 결합된다. 인기는 단순성과 효율성에서 비롯되며, 제한된 계산 리소스를 가진 취미 사용자와 연구자에게 대규모 모델을 접근 가능하게 만든다. AWS 및 Google Cloud를 포함한 클라우드 서비스를 제공하는 회사들도 GPTQ 양자화 모델을 생성형 AI 제품에 통합했다.
한계 및 대안
GPTQ에는 몇 가지 한계가 있다. 교정 프로세스는 대표적인 데이터셋이 필요하며, 잘못된 교정은 정확성 손실로 이어질 수 있다. 주로 가중치 양자화를 대상으로 하며 활성화는 더 높은 정밀도로 유지되므로 매우 긴 시퀀스에 대한 메모리 절약이 제한된다. 또한 이 방법은 더 공격적인 기법이 필요한 1비트와 같은 극도로 낮은 비트 폭에는 덜 효과적이다.
대안적인 사후 훈련 양자화 방법에는 활성화 크기에 따라 중요한 가중치를 보호하는 AWQ(Activation-aware Weight Quantization)와 다양한 비트 폭 옵션을 제공하는 llama.cpp의 GGUF 양자화가 포함된다. 이러한 방법은 종종 유사한 결과를 생성하며, 선택은 대상 하드웨어와 배포 시나리오에 따라 달라진다. 연구는 가중치 및 활성화의 동시 양자화, AMD 및 Intel 프로세서를 위한 하드웨어별 최적화, 표준 Transformer 설계를 넘어선 새로운 신경망 아키텍처와의 통합과 같은 새로운 접근 방식을 탐구하며 양자화 효율성을 계속 개선하고 있다.
영향 및 향후 방향
GPTQ는 엣지 장치와 개인용 컴퓨터에 대규모 언어 모델을 배포하는 장벽을 크게 낮췄다. 모델 압축 분야의 후속 작업에 영향을 미쳤으며 학술 문헌에서 자주 인용된다. 향후 개발은 혼합 정밀도 양자화, AMD 및 Intel 프로세서를 위한 하드웨어별 최적화, 표준 Transformer 설계를 넘어선 새로운 신경망 아키텍처와의 통합에 초점을 맞출 수 있다.