양자화가 대형 언어 모델의 자기설명 능력에 미치는 영향

초록

본 연구는 양자화가 대형 언어 모델(LLM)의 자기설명(self‑explanations, SE) 품질과 충실도에 미치는 영향을 체계적으로 조사한다. 자연어 설명(NLE)과 반사실 예시 두 종류의 SE를 대상으로, 3가지 양자화 기법(동적 범위, 정적 범위, 혼합 정밀도)을 서로 다른 비트폭으로 적용하였다. 실험 결과, 양자화는 SE 품질을 평균 4.4%, 충실도를 2.38% 정도 감소시키지만, 사용자 연구에서는 일관성·신뢰도가 최대 8.5% 감소함을 확인했다. 대형 모델은 품질 저하에 취약하지만 충실도는 비교적 유지하는 경향을 보였으며, 양자화 기법 간에 일관된 우위는 없었다. 따라서 고위험 응용에서 SE를 활용하려면 양자화 전후의 SE 품질을 별도 검증할 필요가 있다.

상세 분석

이 논문은 양자화가 LLM의 핵심 기능인 자기설명 생성에 어떤 구조적·성능적 변화를 일으키는지 정량적으로 파악하고자 한다. 연구자는 먼저 SE를 두 축으로 구분한다. 첫 번째는 모델이 출력에 대해 자연어로 이유를 서술하는 NLE이며, 두 번째는 입력을 변형해 모델이 다른 답을 내도록 하는 반사실(counterfactual) 예시이다. 양자화 기법으로는 (1) 동적 범위 양자화(Dynamic Quantization, DQ), (2) 정적 범위 양자화(Static Quantization, SQ), (3) 혼합 정밀도 양자화(Mixed‑Precision Quantization, MPQ)를 선택하고, 각각 8‑bit, 6‑bit, 4‑bit 수준으로 압축한다.

실험은 GPT‑2‑XL(1.5B)과 LLaMA‑2‑13B 두 모델을 사용해 정확도, SE 품질, SE 충실도를 동시에 측정한다. SE 품질 평가는 인간 평가자에게 ‘명료성’, ‘논리적 일관성’, ‘설득력’ 등을 5점 척도로 매긴 후 평균을 산출했고, 충실도는 모델 자체의 로그 가능도 차이를 이용한 자동 메트릭과 인간 라벨링을 혼합해 검증하였다. 결과는 양자화가 전반적인 태스크 정확도에는 1‑3% 정도의 소폭 감소만을 일으키는 반면, SE 품질은 최대 4.4% 감소하고 충실도는 2.38% 감소한다는 점을 보여준다. 특히 4‑bit 양자화에서 NLE의 문법적 오류와 의미적 모호성이 눈에 띄게 늘어났으며, 반사실 예시에서는 원본 입력과의 차이가 과도하게 커져 실용성이 떨어졌다.

사용자 연구에서는 200명의 비전문가에게 양자화 전·후의 SE를 제시하고, ‘신뢰도’와 ‘이해도’를 평가하도록 했다. 여기서 양자화된 모델의 SE는 평균 8.5% 낮은 신뢰 점수를 받았으며, 이는 실제 고위험 도메인(예: 의료, 법률)에서 사용자 의사결정에 부정적 영향을 미칠 가능성을 시사한다.

모델 규모별 분석에서는 대형 모델(LLaMA‑2‑13B)이 작은 모델(GPT‑2‑XL)보다 양자화에 따른 품질 저하가 더 크게 나타났지만, 충실도 유지 측면에서는 오히려 대형 모델이 더 견고했다. 이는 파라미터 수가 많을수록 내부 표현이 양자화 노이즈에 대해 어느 정도 완충 역할을 할 수 있음을 의미한다.

양자화 기법 간 비교에서는 어느 한 기법도 정확도·SE 품질·충실도 세 축을 동시에 최적화하지 못한다는 점이 강조된다. DQ는 정확도 유지에 강하지만 SE 품질이 다소 떨어지고, MPQ는 중간 비트폭에서 균형을 잡지만 구현 복잡도가 높다. 따라서 실무에서는 목표 태스크와 SE 활용 목적에 따라 맞춤형 양자화 전략을 선택해야 한다.

결론적으로, 양자화는 모델 배포 비용을 크게 절감하면서도 SE 품질과 충실도에 비교적 제한적인 손상을 초래한다. 다만, NLE와 같은 텍스트 기반 SE는 특히 민감하므로, 양자화 적용 전후에 별도 검증 절차를 두는 것이 바람직하다.