잔여 인식 이진화 학습으로 정확하고 효율적인 대형 언어 모델 구현

초록

RaBiT는 2비트 양자화된 대형 언어 모델(LLM)에서 발생하는 병렬 이진 경로 간 중복 학습(인터‑패스 적응)을 근본적으로 해결한다. 단일 풀프레시전 가중치를 공유하고, 각 이진 경로를 순차적으로 잔여 오차에 기반해 파생함으로써 잔여 계층 구조를 강제한다. 기능 보존 초기화와 학습 가능한 스케일 파라미터를 결합해 안정성을 높였으며, 2비트 정확도에서 기존 벡터 양자화(VQ) 방법과 동등하거나 우수한 성능을 달성하고, RTX 4090 기준 4.49배의 추론 속도 향상을 기록한다.

상세 분석

본 논문은 2비트 극단 양자화 환경에서 LLM을 효율적으로 운용하기 위한 새로운 QA‑T 프레임워크인 RaBiT를 제시한다. 기존 잔여 이진화 방식은 여러 개의 이진 경로를 병렬로 쌓아 2비트 표현력을 얻지만, 각 경로가 동일한 전역 그래디언트를 공유하면서 서로 중복된 특징을 학습하는 ‘인터‑패스 적응’ 현상이 발생한다. 이는 잔여 구조가 본래 의도한 “앞선 경로의 오차를 보정”하는 역할을 상실하게 만들며, 전체 모델의 표현 용량을 크게 저하한다.

RaBiT는 이 문제를 구조적으로 해결한다. 핵심 아이디어는 단일 공유 풀프레시전 가중치 (W_{FP}) 를 두고, 각 이진 경로를 잔여 오차에 대한 순차적 이진화 로 파생시키는 것이다. 첫 번째 경로는 (W_{FP}) 를 바로 sign 함수로 이진화한 (B_1) 로 구성하고, 학습 가능한 스케일 벡터 (g_1, h_1) 와 결합한다. 이후 잔여 오차 (R_1 = W_{FP} - \hat{W}_1) 를 계산하고, 이를 다시 sign 함수를 적용해 두 번째 이진 코어 (B_2) 를 얻는다. 이렇게 하면 두 번째 경로는 반드시 첫 번째 경로가 남긴 오차만을 보정하도록 강제된다.

학습 과정에서 스케일 파라미터 (g_i, h_i) 는 독립적인 가중치처럼 최적화되며, STE(직통 추정기)를 이용해 (W_{FP}) 에 대한 그래디언트를 역전파한다. 이때 전체 효과적 가중치 (\hat{W}^{(k)} = \sum_i \hat{W}i) 에 대한 그래디언트를 그대로 (W{FP}) 에 전달함으로써, 각 경로가 최신 잔여 오차에 맞춰 지속적으로 재조정된다. 결과적으로 경로 간 강한 음의 상관관계가 형성되어 MSE 손실의 교차 항이 크게 감소한다는 분석을 표 1을 통해 실증한다.

또한, 2비트 양자화는 초기화에 매우 민감한데, RaBiT는 함수 보존 초기화 전략을 도입한다. 먼저 Iterative Residual SVID(잔여 부호‑값 독립 분해)를 사용해 각 경로의 스케일과 이진 코어를 반복적으로 미세조정한다. 이는 전통적인 그리디 방식이 초기에 선택한 경로에 과도하게 의존하는 문제를 완화하고, 전체 모델이 원래 풀프레시전 기능을 최대한 유지하도록 돕는다.

실험에서는 Llama‑2‑7B와 13B 모델에 적용해, 2비트 설정에서 기존 VQ 기반 방법과 비교해 BLEU, ROUGE, MMLU 등 다양한 벤치마크에서 동등하거나 약간 앞선 점수를 기록한다. 추론 단계에서는 사전 파생된 이진 코어들을 병렬 실행함으로써 매트멀 연산을 완전히 제거하고, RTX 4090에서 풀프레시전 대비 4.49배의 속도 향상을 달성한다. 메모리 측면에서도 공유 가중치 구조 덕분에 옵티마이저 상태 메모리를 절반으로 감소시켜 대규모 파인튜닝에 실질적인 이점을 제공한다.

요약하면, RaBiT는 잔여 계층 구조를 알고리즘적으로 강제하고, 동적 이진 코어 파생 + 학습 가능한 스케일이라는 설계로 인터‑패스 적응을 근본적으로 억제한다. 이는 2비트 양자화된 LLM이 기존 고비트 혹은 VQ 기반 모델과 경쟁할 수 있는 정확도와 효율성을 동시에 확보하도록 만든 혁신적인 접근이다.