대형 언어 모델 양자화 기법 종합 평가

초록

본 논문은 대형 언어 모델(LLM)의 사후 훈련 양자화(PTQ) 기술을 두 단계(전처리 변환·오차 보정)로 분해하고, 동일 조건에서 최신 INT4·FP4 방법들을 폭넓게 실험한다. 최적 회전·스케일링이 전처리 성능을 최고로 끌어올리며, 저랭크 보정과 GPTQ 결합이 일부 경우에 GPTQ 단독보다 우수함을 확인했다. 또한 granularity가 미세할수록 정확도가 향상되지만 저장 비용이 증가하고, FP4에서는 스케일링 팩터 형식이 성능에 큰 영향을 미친다.

상세 분석

이 연구는 LLM 양자화 분야에서 기존 논문들이 서로 다른 실험 설정과 복합적인 기법을 사용해 직접적인 비교가 어려웠던 문제를 해결하고자, 모든 방법을 “전처리 변환(pre‑quantization transformation)”과 “양자화 오차 보정(quantization error mitigation)”이라는 두 단계로 명확히 분리하였다. 전처리 변환 단계에서는 outlier를 완화하기 위해 shifting, scaling, rotation 등 데이터를 평탄화하는 기법을 적용한다. 특히, 회전(rotation)과 스케일링(scaling)을 동시에 최적화한 방법이 INT4 양자화에서 가장 큰 성능 향상을 보였으며, 이는 데이터 분포를 균일하게 만들어 저비트 양자화의 손실을 최소화한다는 기존 가설을 실증한다. 오차 보정 단계에서는 GPTQ, OBQ, Low‑rank compensation 등 다양한 self‑compensation 기법을 평가했는데, 저랭크 보정을 GPTQ와 결합했을 때 일부 모델에서 GPTQ 단독보다 더 낮은 손실을 기록했다. 이는 양자화 후 발생하는 오류를 저차원 근사로 보정함으로써, 고차원 파라미터 공간에서의 손실을 효과적으로 감소시킬 수 있음을 시사한다.

Granularity와 Symmetry에 대한 실험에서는, per‑group 혹은 per‑channel 수준으로 세분화된 granularity가 정확도 향상에 기여하지만, 메모리와 저장 비용이 비례적으로 증가한다는 트레이드오프를 명확히 제시한다. 특히, 가중치에 비대칭(asymmetric) 양자화를 적용했을 때 얻는 이득이 활성화에 적용했을 때보다 현저히 적어, 실제 시스템에서는 활성화에만 비대칭 양자화를 적용하는 것이 효율적임을 확인했다.

FP4 포맷(MXFP4, NVFP4)에 대한 탐구에서는, 기존 INT4용 회전 기반 최적화가 FP4에서는 기대 이하의 성능 향상만을 보였으며, 오히려 스케일링 팩터의 비트 폭과 표현 방식이 전체 정확도에 결정적인 영향을 미친다. 이는 FP4가 새로운 데이터 타입으로서 기존 INT4와는 다른 최적화 전략이 필요함을 의미한다. 논문은 이러한 결과를 바탕으로, 향후 연구에서는 FP4 전용 회전·스케일링 설계와, 저장 효율성을 유지하면서도 granularity를 미세하게 조정할 수 있는 하이브리드 방법을 모색할 것을 제안한다.

전반적으로, 이 논문은 LLM PTQ 연구에 있어 공정한 비교 기반을 제공하고, 두 단계로의 구조적 분해가 각 기법의 기여도를 명확히 드러내는 유용한 프레임워크임을 입증한다.