신경망 맥락에서 양자화(quantization)는 모델에 사용되는 매개변수(가중치)와 중간 값(활성화)의 수치 정밀도를 줄이는 과정을 의미합니다. 표준 딥러닝에서 모델은 일반적으로 높은 정밀도를 제공하지만 상당한 메모리와 연산을 소비하는 32비트 부동 소수점(FP32) 숫자로 훈련됩니다. 양자화는 이러한 값을 8비트 정수(INT8) 또는 4비트 정수(INT4)와 같은 낮은 정밀도 형식으로 매핑하여 모델 크기를 줄이고 정수 연산을 지원하는 하드웨어에서 추론을 가속화합니다. 이 기술은 특히 효율성이 중요한 인공지능 시스템을 대규모로 배포하는 데 필수적이 되었습니다.
양자화의 개념은 디지털 신호 처리에서 유래했으며, 여기서는 입력 값을 큰 집합(종종 연속적)에서 더 작고 셀 수 있는 집합으로 매핑하는 것으로 정의됩니다. 신경망에서 이 매핑은 양자화 오류 또는 양자화 잡음이라고도 하는 오류를 도입하며, 신중히 관리하지 않으면 모델 정확도를 저하시킬 수 있습니다. 그러나 현대 양자화 방법은 보정, 미세 조정 또는 고급 알고리즘을 통해 이 오류를 최소화하여 모델이 최소한의 성능 손실로 낮은 정밀도에서 작동할 수 있게 합니다.
역사적 배경
신경망에 양자화를 적용한 것은 초기 머신러닝 연구 시절로 거슬러 올라가며, 하드웨어 제약이 낮은 정밀도 연산의 사용을 촉진했습니다. 1980년대와 1990년대에 연구자들은 계산 복잡성을 줄이기 위해 이진 및 삼진 가중치 네트워크를 탐구했지만, 이러한 초기 시도는 적합한 하드웨어 부족과 모델 규모의 한계로 크게 제한되었습니다. 2010년대 딥러닝의 부활은 그래픽 처리 장치와 대규모 데이터 세트에 의해 주도되면서 처음에는 고정밀 훈련을 선호했습니다. 그러나 모델이 커지고 모바일 폰과 임베디드 시스템에 배포되기 시작하면서 양자화는 중요한 최적화로 다시 부상했습니다.
2015년 "BinaryConnect"의 발표는 이진 가중치가 작은 데이터 세트에서 경쟁력 있는 정확도를 달성할 수 있음을 입증한 중요한 이정표였습니다. 그 뒤로 삼진 가중치 네트워크와 재훈련이 필요 없는 사후 훈련 양자화(PTQ) 방법에 대한 연구가 이어졌습니다. 2010년대 후반에는 TensorFlow와 PyTorch 같은 프레임워크가 양자화 도구를 통합하여 실무자들이 이 기술을 쉽게 사용할 수 있게 했습니다. 2020년대 오픈AI와 앤트로픽이 개발한 것과 같은 대규모 언어 모델의 부상은 이러한 모델이 종종 수백 기가바이트의 메모리 공간을 초과하기 때문에 양자화에 대한 관심을 더욱 가속화했습니다.
수학적 기초
신경망의 양자화는 신호 처리에서와 동일한 기본 원리를 따릅니다. 양자화기는 입력 값 \(x\)를 유한 집합의 출력 값 \(Q(x)\)로 매핑합니다. 단계 크기 \(\Delta\)를 가진 균일 양자화기의 경우 매핑은 종종 다음과 같이 표현됩니다:
\[ Q(x) = \Delta \cdot \left\lfloor \frac{x}{\Delta} + \frac{1}{2} \right\rfloor \]
여기서 \(\lfloor \cdot \rfloor\)는 바닥 함수를 나타냅니다. 이는 \(\Delta\)의 가장 가까운 정수 배수로 반올림하는 중간 계단 양자화기입니다. 양자화 오류는 입력과 출력의 차이이며, 작은 단계 크기의 경우 평균 제곱 오류는 대략 \(\Delta^2/12\)입니다. 양자화기에 1비트를 추가하면 \(\Delta\)가 절반으로 줄어들어 잡음 전력이 4배 감소하며, 이는 약 -6dB에 해당합니다.
신경망에서 양자화는 일반적으로 다차원 배열인 텐서에 적용됩니다. 이 과정은 각 값을 정수 인덱스로 매핑하는 순방향 양자화와 인덱스를 대표 값으로 다시 매핑하는 재구성의 두 단계로 분해될 수 있습니다. 예를 들어, INT8 양자화에서 부동 소수점 값 \(x\)는 스케일 인자 \(s\)와 영점 \(z\)로 조정되어 정수 \(q\)를 생성합니다:
\[ q = \text{round}(\frac{x}{s} + z) \]
그리고 역양자화된 값은 \(\hat{x} = s(q - z)\)입니다. 스케일 인자 \(s\)는 값의 범위를 기반으로 선택되며, 종종 검증 데이터 세트에 대한 보정을 통해 결정됩니다.
양자화 유형
양자화 방법은 크게 사후 훈련 양자화(PTQ)와 양자화 인식 훈련(QAT)의 두 가지 유형으로 분류할 수 있습니다. PTQ는 모델이 훈련된 후에 적용되며 추가 훈련 데이터가 필요하지 않습니다. 간단하고 빠르지만, 특히 매우 낮은 정밀도에서 정확도 저하를 초래할 수 있습니다. 반면 QAT는 훈련 중에 양자화를 시뮬레이션하여 모델이 낮은 정밀도에 적응할 수 있게 합니다. 이는 종종 더 나은 정확도를 제공하지만 더 많은 계산 리소스가 필요합니다.
또 다른 구분은 균일 양자화와 비균일 양자화 사이입니다. 균일 양자화는 동일한 간격의 레벨을 사용하며 하드웨어에서 구현하기 쉽습니다. 로그 기반 또는 k-평균 클러스터링과 같은 비균일 양자화는 값 밀도가 높은 영역에 더 많은 레벨을 할당하여 오류를 줄일 수 있지만 하드웨어 지원을 복잡하게 만듭니다. 또한 양자화는 가중치만, 활성화만, 또는 둘 다에 적용될 수 있습니다. 가중치 전용 양자화는 모델 압축에 일반적이며, 활성화 양자화는 완전한 정수 추론에 필요합니다.
하드웨어 지원 및 배포
양자화는 낮은 정밀도 연산을 지원하는 하드웨어에서 특히 효과적입니다. 인텔과 AMD는 CPU에 INT8 명령어를 통합했으며, 엔비디아 GPU와 AWS 트레이니엄 및 그록과 같은 특수 가속기는 양자화된 추론에 최적화되어 있습니다. 퀄컴과 ARM 홀딩스의 모바일 및 임베디드 프로세서도 메모리 대역폭과 전력 소비 감소의 이점을 얻습니다. 예를 들어, 애플의 신경 엔진과 삼성전자의 엑시노스 칩은 양자화를 활용하여 온디바이스 AI 작업을 효율적으로 실행합니다.
클라우드 환경에서 아마존 웹 서비스, 구글 클라우드, 애저는 양자화된 모델을 사용하여 지연 시간과 비용을 줄이는 서비스를 제공합니다. TSMC와 브로드컴은 혼합 정밀도 연산을 지원하는 칩을 제조하여 유연한 배포를 가능하게 합니다. 양자화 추세는 트랜스포머 기반 모델의 설계에도 영향을 미쳤으며, 주의 계층을 양자화하여 품질 손실 없이 메모리 사용량을 줄일 수 있습니다.
대규모 언어 모델에 미치는 영향
대규모 언어 모델(LLM)은 양자화 연구의 주요 동인이 되었습니다. 1,750억 개의 매개변수를 가진 GPT-3와 같은 모델은 FP32에서 수백 기가바이트의 메모리를 필요로 하여 배포가 비현실적입니다. 8비트 또는 4비트로의 양자화는 메모리 공간을 4~8배 줄여 이러한 모델이 소비자 하드웨어에서 실행되거나 데이터 센터에서 효율적으로 서비스될 수 있게 합니다. GPTQ 및 AWQ와 같은 기술은 LLM을 4비트로 양자화하면서 대부분의 기능을 보존하도록 개발되었습니다.
그러나 LLM은 활성화 값의 이상치로 인해 양자화 범위를 왜곡할 수 있는 독특한 문제를 제기합니다. 연구자들은 중요한 계층을 더 높은 정밀도로 유지하는 혼합 정밀도 방식과 입력 분포에 적응하는 동적 양자화 방법을 제안했습니다. 구글 딥마인드와 같은 회사는 LLM 양자화에 대한 광범위한 연구를 발표했으며, 오픈 소스 도구는 양자화 지원을 통합하고 있습니다.
과제 및 향후 방향
양자화의 주요 과제는 효율성과 정확성의 균형을 맞추는 것입니다. 공격적인 양자화는 특히 생성형 AI 및 머신러닝 응용 프로그램과 같은 세밀한 추론이 필요한 작업에서 상당한 성능 저하를 초래할 수 있습니다. 엔트로피 기반 또는 백분위수 기반 범위 선택과 같은 보정 방법은 이를 완화하는 데 도움이 되지만 신중한 조정이 필요합니다. 또 다른 문제는 매우 낮은 정밀도(예: 2비트)에 대한 표준화된 하드웨어 지원 부족이지만, 삼바노바와 그래프코어의 새로운 칩이 이 공간을 탐구하고 있습니다.
향후 연구는 계층의 민감도에 따라 정밀도를 동적으로 조정하는 적응형 양자화와 모델 가지치기 및 기타 압축 기술과의 양자화 공동 최적화에 초점을 맞출 가능성이 높습니다. 또한 신경망 아키텍처가 진화함에 따라 양자화 방법은 트랜스포머 모델의 주의 메커니즘과 같은 새로운 연산에 적응해야 합니다. 궁극적인 목표는 웨이모 자율 주행 자동차부터 인튜이티브 서지컬 의료 로봇까지 모든 장치에서 AI 모델을 실행할 수 있게 하는 손실 없는 압축에 가까운 수준을 달성하는 것입니다.
결론
양자화는 효율적인 AI 배포의 초석이 되어 프로덕션 환경에서 딥러닝의 광범위한 사용을 가능하게 했습니다. 수치 정밀도를 줄임으로써 메모리 요구 사항을 낮추고 추론을 가속화하며 에너지 소비를 줄이면서 허용 가능한 정확도를 유지합니다. 하드웨어가 계속 진화하고 모델이 더 커짐에 따라 양자화는 이론적 기능과 실용적 제약 사이의 격차를 메우는 AI 도구 키트의 필수 도구로 남을 것입니다.