미래 레이어를 보는 양자화, FAQ로 LLM 압축 혁신

초록

FAQ(Future‑Aware Quantization)는 현재 레이어가 아니라 뒤쪽 레이어의 활성값을 미리 살펴 스케일을 조정함으로써 양자화 편향과 오류 누적을 완화한다. 윈도우‑단위 프리뷰와 사전 탐색된 하이퍼파라미터를 결합해 계산 비용을 거의 늘리지 않으며, 3‑bit·4‑bit 양자화에서 기존 PTQ 기법(RTN, AWQ)을 일관적으로 앞선 성능을 보인다.

상세 분석

본 논문은 대규모 언어 모델(LLM)의 포스트‑트레이닝 양자화(PTQ)에서 발생하는 두 가지 근본적인 문제, 즉 “양자화 편향(quantization bias)”과 “오류 누적(error accumulation)”을 정확히 짚어낸다. 기존 PTQ는 각 레이어의 활성값 통계만을 이용해 스케일을 결정하는데, 이 방식은 (1) 현재 레이어에서 큰 값이 차지하는 채널이 스케일을 과도하게 확대해 뒤쪽 레이어에 중요한 작은 값들을 압축하게 만들고, (2) 초기 레이어에서 발생한 양자화 오차가 순전파를 통해 전파돼 뒤쪽 레이어에서 증폭되는 구조적 약점을 갖는다. 특히 캘리브레이션 데이터가 실제 서비스 데이터와 분포가 다를 경우 이러한 현상이 급격히 악화된다.

FAQ는 이러한 한계를 “미래 레이어 인식”이라는 새로운 시각으로 해결한다. 구체적으로, 현재 레이어 i의 스케일을 계산할 때 i+1, i+2 … i+j 레이어의 평균 활성값을 윈도우‑크기 j만큼 집계해 프리뷰 활성값 a_pvw_i 를 만든다. 이후 현재 활성값 a_i 와 프리뷰 a_pvw_i 를 가중합(γ·a_i + (1‑γ)·a_pvw_i)하여 융합 활성값 ˜a_i 를 얻고, 이를 기반으로 베이스 스케일 s_i = ˜a_i 를 정의한다. 이렇게 하면 뒤쪽 레이어가 현재 레이어의 가중치에 얼마나 민감한지를 사전에 파악해, 중요한 채널은 높은 정밀도로 보존하고 덜 중요한 채널은 더 aggressive하게 양자화한다.

핵심 설계 요소는 다음과 같다.

1. 윈도우‑와이즈 프리뷰: 단일 뒤쪽 레이어에 의존하지 않고, 여러 레이어의 평균을 사용해 노이즈에 대한 강인성을 확보한다.
2. 프리뷰 파라미터 사전 탐색: γ와 윈도우 크기 j를 사전에 탐색해 두고, 실제 양자화 단계에서는 그 값을 그대로 사용함으로써 그리디 탐색 비용을 제거한다. 실험에서는 γ=0.85, j=3이 대부분 모델에 최적으로 작동한다.
3. 수학적 정당성: 정리 1에서는 활성값이 크게 차이나는 채널이 존재할 때, 기존 AWQ가 해당 채널에 과도한 스케일을 할당해 양자화 오차 δ_AWQ 를 발생시키는 반면, FAQ는 γ에 의해 스케일이 조정되어 δ_FAQ < δ_AWQ 를 보장한다는 식을 제시한다. 이는 스케일이 뒤쪽 레이어의 감도 행렬과 곱해지는 형태를 분석해 증명한다.

실험에서는 Qwen, LLaMA 시리즈 등 0.5B~8B 규모의 다양한 트랜스포머 모델을 3‑bit·4‑bit 가중치‑전용 양자화 환경에서 평가했다. 퍼플렉시티와 여러 베리파이 데이터셋(ARC, PIQA, BoolQ 등)에서 FAQ는 RTN·AWQ 대비 평균 2‑5%p(accuracy) 향상과 퍼플렉시티 감소를 달성했다. 특히 3‑bit 초저비트 상황에서 오류 누적이 심각해지는 경우, FAQ의 이득이 가장 크게 나타났다. 또한 캘리브레이션 데이터 양을 변동시킨 실험에서도 평균 성능과 표준편차 모두 우수해, 데이터 편향에 대한 강인성을 확인했다.

종합하면 FAQ는 (1) 양자화 스케일을 전역적인 “미래 감도”에 맞춰 조정함으로써 편향을 감소시키고, (2) 윈도우‑프리뷰를 통해 노이즈에 대한 내성을 확보하며, (3) 사전 탐색된 파라미터로 실제 적용 시 연산·메모리 오버헤드를 거의 발생시키지 않는다. 따라서 엣지 디바이스에 LLM을 배포하려는 실무 환경에서, 기존 PTQ 대비 성능·안정성 모두를 크게 개선할 수 있는 실용적인 솔루션이라 할 수 있다.