벤포드 법 기반 비균일 양자화, 대형 언어 모델 압축의 새로운 패러다임

초록

본 논문은 변환기 층의 가중치가 베낭법(Benford’s Law)을 따르는 현상을 이용해, 로그 간격 코드북을 적용한 데이터‑프리 비균일 양자화 기법인 Benford‑Quant(BENQ)를 제안한다. 변환기 가중치에만 적용하고 LayerNorm·Embedding 등은 FP16으로 유지함으로써 3~4비트 양자화에서 perplexity를 크게 개선하고, 대형 모델에서도 경쟁력을 유지한다.

상세 분석

Benford‑Quant은 두 가지 핵심 관찰에 기반한다. 첫째, 변환기 구조의 선형·어텐션·FFN 층 가중치는 학습 과정에서 곱셈적 업데이트가 누적되어 로그 도메인에서 거의 균등한 분포를 형성한다. 이는 Benford’s Law가 예측하는 ‘첫 자리수 로그 균등성’과 일치한다. 반면 LayerNorm 스케일이나 임베딩 파라미터는 좁은 스케일에 집중되어 있어 Benford 규칙을 위배한다. 이러한 층 구분을 통해 Benford‑Quant은 변환기 가중치에만 로그‑스페이스 코드북을 적용하고, 안정성이 중요한 층은 기존 FP16을 유지한다.

코드북은 2^B개의 레벨을 로그 도메인에서 균등하게 배치해, 작은 절댓값을 갖는 가중치에 더 많은 정밀도를 할당한다. 그룹‑와이즈 스케일링을 사용해 각 블록을 정규화하고, 가장 가까운 레벨 인덱스를 찾아 저장한다. 이 과정은 데이터 없이 수행되며, 하드웨어 구현이 용이하도록 대칭 구조를 유지한다.

실험에서는 Gemma‑270M, Gemma‑1B, OPT‑1.3B, BLOOM‑1B7, Qwen‑72B 등 다양한 규모의 모델을 대상으로 3~4비트 양자화를 적용했다. 작은 모델에서는 perplexity가 10% 이상 감소했으며, 대형 모델에서도 기존 Uniform R‑TN이나 GPTQ와 비슷한 수준을 유지했다. 로그‑스페이스와 선형‑비균일 그리드(단순 비균일) 간 비교 실험에서는 Benford‑Quant이 일관적으로 우수함을 확인했다. 또한, Benford‑Quant은 SmoothQuant·Activation‑Aware Quant와 같은 기존 기법과 결합해 추가적인 성능 향상을 기대할 수 있다.

하지만 몇 가지 한계도 존재한다. 매우 큰 모델에서는 가중치 스펙트럼이 평탄해져 Benford‑Quant의 이점이 감소하고, LAMBADA와 같은 특정 벤치마크에서는 최첨단 방법을 능가하지 못한다. 또한, 로그‑스페이스 코드북이 하드웨어에 직접 매핑될 때 정밀도와 연산 효율 사이의 트레이드오프를 고려해야 한다. 전반적으로 Benford‑Quant은 복잡한 캘리브레이션 없이도 비균일 양자화의 효과를 손쉽게 구현할 수 있는 실용적인 솔루션이다.