ELUTQ: 엣지 LLM을 위한 계층형 선형 양자화와 LUT 기반 고속 추론

초록

ELUTQ는 비균일 양자화 형식인 계층형 선형 양자화(HLQ)를 도입해 저비트(2‑3비트) 가중치의 표현력을 크게 향상시키고, 비트‑시리얼 LUT 기반 GEMM 연산으로 디퀀타이징 오버헤드를 제거한다. 효율적인 파이프라인을 통해 LLaMA 3.1‑70B 모델을 64 GB CPU와 48 GB GPU 메모리만으로 양자화할 수 있으며, 2‑bit LLaMA 3.1‑8B는 RTX 3090에서 기존 AWQ 대비 1.5배 빠른 추론 속도를 보인다.

상세 분석

본 논문은 기존의 균일 양자화가 LLM 가중치의 가우시안형 분포를 제대로 포착하지 못하고, 저비트 환경에서 디퀀타이징 비용이 크게 증가한다는 문제점을 지적한다. 이를 해결하기 위해 제안된 계층형 선형 양자화(HLQ)는 각 비트 플레인을 이진 벡터 집합으로 표현하고, 스케일과 제로 포인트를 선형 결합 형태로 학습한다. 구체적으로, q비트 양자화 시 2^q개의 이진 조합을 코드북으로 구성하고, 가중치와 코드북 간의 최소 L2 오차를 찾는 비트‑패턴 선택 단계와, 선택된 비트 패턴에 대해 스케일·제로 포인트를 최소제곱법으로 추정하는 선형 재구성 단계를 교대로 수행한다. 이 교대 최적화는 알고리즘 1에 명시된 바와 같이 그룹 단위로 병렬화가 가능해 대규모 모델에도 효율적으로 적용된다.

HLQ의 핵심 장점은 비균일 양자화임에도 불구하고 비트‑시리얼 LUT 기반 GEMM 연산과 완벽히 호환된다는 점이다. LUT 기반 연산은 각 비트 플레인에 대해 사전 계산된 곱셈 결과를 테이블에 저장하고, 인덱스 조회와 누적 합산만으로 매트릭스 곱을 수행한다. 따라서 전통적인 디퀀타이징‑후‑곱셈 흐름에서 발생하는 메모리 복사와 변환 비용을 완전히 제거한다. 논문은 이를 위해 C++ 순수 구현 커널을 설계하고, CPU와 GPU 양쪽에서 SIMD·CUDA 최적화를 적용해 실시간 추론이 가능한 수준의 처리량을 달성한다.

양자화 파이프라인 측면에서는, 기존 방법들이 GPU 메모리만을 최적화하고 CPU 메모리 요구량을 무시하는 반면, ELUTQ는 가중치를 그룹별로 스트리밍하면서 메모리 사용량을 64 GB 이하로 제한한다. 또한, 블록‑단위 재구성 후 전체 모델을 엔드‑투‑엔드 미세조정하는 두 단계의 효율적인 파인튜닝 전략을 제시한다. 이 과정에서 가중치 재구성 없이 스케일·제로 포인트만을 조정하므로 추가 파라미터 오버헤드가 없으며, 기존 QAT(Quantization‑Aware Training) 수준의 정확도를 재학습 없이도 근접하게 회복한다.

실험 결과는 LLaMA 3.1‑8B와 70B 모델을 대상으로 2‑bit 및 3‑bit 양자화에서 HLQ가 기존 균일 양자화(AWQ, GPTQ 등)보다 평균 1.2‑1.8% 높은 정확도를 보이며, 코드북 기반 비균일 방법에 근접하거나 약간 뒤처지는 수준임을 보여준다. 특히 2‑bit LLaMA 3.1‑8B는 RTX 3090에서 AWQ 대비 1.5배의 디코드 속도 향상을 기록한다. 메모리·시간 효율성 면에서도, 70B 모델을 48 GB VRAM과 64 GB CPU RAM만으로 40시간 내에 양자화하는 등 기존 Quip#(>200 시간, 1 TB 메모리) 대비 5배 이상 개선된 결과를 제시한다.

종합하면, ELUTQ는 비균일 양자화와 LUT 기반 연산을 자연스럽게 결합함으로써 저비트 LLM 양자화의 정확도·성능·자원 효율성 3박자를 모두 만족시키는 실용적인 프레임워크라 할 수 있다.