다중 정밀도 포스트 트레이닝 매트리오시카 양자화 MatGPTQ

초록

MatGPTQ는 기존 MatQuant의 고비용 QAT 방식을 대체하는 PTQ 파이프라인으로, 하나의 부모 모델을 여러 목표 비트폭(2~8비트)으로 동시에 최적화한다. 다중 정밀도 목표를 손실 함수에 통합하고, 비트‑슬라이싱·교차‑비트 오류 보정을 통해 한 번의 패스만에 “슬라이스 가능” 모델을 생성한다. 또한 메모리 예산에 맞춘 이질적 레이어별 비트폭 탐색과 GPU용 고성능 커널을 제공해, 저비트에서 높은 정확도와 실시간 속도 향상을 동시에 달성한다.

상세 분석

MatGPTQ는 최근 제안된 Matryoshka Quantization(MatQuant)의 핵심 아이디어인 “MSB 슬라이스”를 PTQ 환경에 적용한 최초의 시도이다. 기존 MatQuant은 QAT 기반으로 높은 연산 비용과 제한된 비트폭(주로 8‑4‑2)만을 지원했으며, 공개 구현이 없었다는 점에서 실용성이 떨어졌다. 논문은 이를 해결하기 위해 세 가지 기술적 기여를 제시한다. 첫째, 다중 정밀도 목표 집합 R={r₁,…,r_K}을 손실 함수에 가중치 λ_r과 함께 포함시켜, 하나의 마스터 비트폭 c(최고 정밀도) 아래에서 모든 하위 비트폭에 대한 재구성 오차를 동시에 최소화한다. 여기서 슬라이스 연산 S(q_c, r)=clamp⌊q_c·2^{c−r}⌋·2^{c−r}를 이용해 MSB를 추출하고, “비트‑푸시” 기법으로 r+1번째 비트가 1이면 r번째 비트를 1로 강제 설정해 양자화 손실을 완화한다. 둘째, GPTQ의 헤시안 기반 오류 전파 메커니즘을 확장해, 각 레이어에서 발생하는 여러 비트폭별 오류를 평균화한 뒤 남은 가중치에 전파한다. 이는 기존 GPTQ가 단일 비트폭 오류만을 보정하던 것과 달리, 교차‑비트 오류 보상을 가능하게 하여 전체 모델의 일관된 정확도 유지에 기여한다. 셋째, 비트폭별 중요도 λ_r을 실험적으로 분석했으며, 균등 가중치가 대부분의 경우 최적임을 확인한다.

또한, 메모리·연산 예산에 맞는 이질적 레이어‑비트폭 구성을 찾기 위해 EvoPress 기반의 진화적 탐색을 도입한다. 부모 모델을 MatGPTQ로 사전 양자화한 뒤, 각 세대에서 λ개의 자식 모델을 생성·평가하고, 정확도·크기 트레이드오프를 고려해 최적의 비트폭 배치를 선택한다. 이 과정은 비트폭 선택 공간이 지수적으로 커지는 문제를 효율적으로 탐색하도록 설계되었다.

실험에서는 LLaMA 3.1 8B, Qwen‑3 (8B/14B), Phi‑3‑Medium 등 최신 LLM을 대상으로, 동일한 캘리브레이션 셋(≈128‑256 샘플)만 사용해 MatGPTQ와 기존 GPTQ, OmniQuant 기반 MatQuant을 비교하였다. 결과는 4‑8비트 구간에서 기존 비-슬라이스 PTQ와 0.7% 이내의 정확도 차이만 보이며, 3비트에서는 평균 1.34%의 정확도 향상을 기록한다. 특히 6비트와 같은 중간 비트폭에서도 별도 최적화 없이 높은 정확도를 유지해 “인터폴레이션” 능력을 입증한다.

GPU 커널 측면에서는 2‑8비트 정수형을 지원하는 맞춤형 packing·unpacking 로직과, 비트‑슬라이스 연산을 효율적으로 수행하는 CUDA 커널을 제공한다. 벤치마크 결과, 3비트 LLaMA 3.1 8B 추론 시 FP16 대비 약 3배의 레이턴시 감소와 메모리 사용량 절감 효과를 확인했다. 이는 실제 서비스 환경에서 단일 체크포인트만 배포해 다양한 디바이스·예산에 대응할 수 있음을 의미한다.

전반적으로 MatGPTQ는 (1) PTQ 기반의 단일 패스 양자화, (2) 다중 정밀도 목표 통합 손실, (3) 교차‑비트 오류 보정, (4) 이질적 비트폭 탐색, (5) 실용적인 CUDA 구현이라는 다섯 축을 통해 MatQuant의 실용성을 크게 확대하였다. 코드와 커널이 공개된 점도 연구 재현성과 산업 적용을 촉진하는 중요한 요소다.