LLM을 위한 교대 정제 이진화 기법

초록

본 논문은 대규모 언어 모델(LLM)의 메모리·연산 부담을 크게 낮추기 위해 1비트 사후 훈련 양자화(PTQ) 방법인 ARB‑LLM을 제안한다. 기존 이진화 기법이 풀‑정밀 가중치와의 분포 차이를 충분히 줄이지 못하고, 열(column) 방향 편차를 무시한다는 문제를 해결하기 위해 교대 정제 이진화(ARB) 알고리즘을 설계하고, 이를 캘리브레이션 데이터와 행·열 스케일링을 결합한 ARB‑X와 ARB‑RC로 확장한다. 또한 가중치 그룹 비트맵(CGB)을 도입해 중요한 가중치와 비중요 가중치를 효율적으로 구분한다. 실험 결과 ARB‑LLM RC는 동일 규모 FP16 모델을 능가하며, 현재 최고 수준의 이진 PTQ 방법들을 크게 앞선다.

상세 분석

본 연구는 LLM 이진화에서 가장 근본적인 문제인 “분포 이동(distribution shift)”을 정량적으로 분석하고, 이를 최소화하기 위한 교대 정제(Alternating Refined) 절차를 제시한다. 기존 1‑bit 양자화는 가중치 평균을 단순히 빼고 부호(sign)만 취해 이진 행렬 B와 행‑스케일링 α를 구했지만, 이 과정에서 잔차 행렬 R의 평균이 0이 아니게 되면서 전체 양자화 오차 L₁이 크게 증가한다. 논문은 μ를 R의 평균으로 보정(δμ)하고, 보정된 μ와 α를 다시 최적화함으로써 B와 α를 순차적으로 업데이트하는 알고리즘을 도출한다. 이 절차를 T번 반복하면 L₁이 단조 감소함을 정리(Theorem 1)로 증명했으며, 실제 구현에서는 그룹 마스크 M을 이용해 중요한 가중치와 비중요 가중치를 구분한다.

ARB‑X는 캘리브레이션 데이터 X를 손실 함수에 포함시켜, 단순히 가중치 자체만 최소화하는 것이 아니라 실제 입력‑출력 관계를 보존하도록 μ와 α를 조정한다. 이는 특히 LLM처럼 레이어마다 입력 분포가 크게 달라지는 모델에서 양자화 후 성능 저하를 억제한다.

ARB‑RC는 행‑스케일링에 더해 열‑스케일링을 동시에 도입한다. 기존 연구는 행‑단위로만 스케일링을 적용해 열 방향의 편차를 무시했지만, LLM 가중치 행렬은 열마다 평균·분산이 크게 달라 “column deviation” 현상이 뚜렷하다. ARB‑RC는 행·열 스케일링을 교대로 업데이트함으로써 두 차원의 편차를 동시에 보정한다. 실험적으로는 열‑스케일링이 적용된 경우, 동일한 비트맵(CGB) 사용 시 평균 2~3%p 정도 정확도 향상이 관찰되었다.

CGB(Column‑Group Bitmap)는 기존의 salient‑bitmap과 magnitude‑grouping을 결합한 전략이다. 중요한 가중치를 열 단위로 그룹화하고, 각 그룹에 대해 별도 비트맵을 할당함으로써 메모리 오버헤드를 최소화하면서도 중요한 가중치에 대한 정밀 이진화를 유지한다. 이 설계는 ARB‑X와 ARB‑RC에 동일하게 적용돼, 두 변형 모두에서 성능 향상을 견인한다.

실험에서는 OPT, LLaMA‑2, LLaMA‑3 등 다양한 규모(1.3B66B)의 모델에 대해 7개의 zero‑shot QA 벤치마크를 수행했다. ARB‑LLM RC는 동일 파라미터 수 FP16 모델을 능가했으며, 기존 SOTA 이진 PTQ인 PB‑LLM·BiLLM 대비 평균 46%p 높은 정확도를 기록했다. 메모리 사용량은 1‑bit 저장 외에 스케일링 파라미터와 비트맵을 포함해도 2‑3 KB 수준에 불과해, 실제 배포 환경에서의 효율성을 크게 개선한다.

전체적으로 본 논문은 이진화 과정에서 발생하는 통계적 편차를 수학적으로 모델링하고, 교대 최적화라는 간단하지만 강력한 프레임워크를 제시함으로써 LLM 이진 PTQ 분야에 새로운 기준을 제시한다.