LLM 압축 평가를 통합한 UniComp 프레임워크

초록

UniComp은 프루닝, 양자화, 지식 증류라는 세 가지 주요 압축 기법을 동일한 기준으로 비교하는 평가 프레임워크이다. 성능, 신뢰성, 효율성 세 차원을 13가지 메트릭으로 측정하고, 40여 개의 지식·추론·다국어·명령 수행·안전성 벤치마크를 활용한다. 실험 결과, 압축은 지식 중심 과제는 비교적 유지하지만 추론·다국어·명령 수행 능력은 크게 감소한다. 양자화가 전체적인 성능‑효율 트레이드오프에서 가장 우수하고, 증류는 높은 연산 비용을 감수하면 실행 속도 가속을 크게 얻는다. 또한, 프루닝 모델에 작업‑특화 캘리브레이션을 적용하면 추론 성능이 최대 50% 회복된다.

상세 분석

UniComp은 기존 압축 연구가 주로 다중 선택형 지식 벤치마크에 의존해 왔다는 한계를 인식하고, 보다 포괄적인 평가 체계를 제시한다. 첫 번째 축인 성능은 지식, 다국어·문화 일반화, 추론, 명령 수행 네 가지 카테고리로 세분화하고, 각각 정확도 비율을 기반으로 0‑100 점수로 정규화한다. 특히 추론 성능은 체인‑오브‑생각(CoT) 프롬프트를 사용해 4‑shot·5‑shot 설정에서 평가함으로써, 압축이 복잡한 사고 과정에 미치는 영향을 정량화한다. 두 번째 축인 신뢰성은 진실성, 안전성, 공정성, 견고성, 프라이버시, 윤리 여섯 가지 하위 항목을 포함한다. 여기서는 낮은 점수가 더 좋은 경우(예: 오류율)에는 100‑점수 변환을 적용해 일관된 스코어링을 유지한다. 마지막 효율성 축은 런타임 가속도(스루풋·레턴시), 추론 효율성(GPU 메모리·디스크 크기·FLOPs), 압축 비용(시간·피크 메모리) 세 가지 메트릭을 기하 평균으로 결합한다.

실험은 LLaMA‑3.1‑8B와 Qwen‑2.5‑7B를 중심으로, LLaMA‑2·3, DeepSeek‑R1, Qwen‑3·MoE 등 다양한 아키텍처에 동일한 압축 파이프라인을 적용했다. 프루닝은 SparseGPT와 Wanda, 양자화는 GPTQ와 AWQ, 증류는 Minitron과 Low‑Rank‑Clone을 사용했으며, 모두 50% 파라미터 감소(프루닝) 혹은 4‑bit 가중치(양자화) 수준을 목표로 했다.

주요 발견은 다음과 같다. (1) 지식 중심 벤치마크(MMLU, ARC‑E/C 등)에서는 압축 전후 성능 차이가 5‑10% 이내로 미미했지만, GSM8K·Math‑500·GPQA‑Diamond 같은 고난이도 추론 과제에서는 30‑50% 급격히 떨어졌다. 이는 정적인 사실 저장은 파라미터 감소에 강인하지만, 동적인 논리 흐름은 미세한 가중치 변화에 민감함을 시사한다. (2) 양자화는 메모리·디스크 사용량을 75% 이상 절감하면서도 평균 성능 점수가 85점 이상 유지돼, 전반적인 효율‑성능 트레이드오프에서 가장 균형 잡힌 방법으로 평가된다. 반면 증류는 압축 비용이 매우 높고(GPU‑시간 2‑3배 증가) 학습 단계에서 대규모 데이터와 교사 모델 호출이 필요하지만, 추론 시 스루풋이 1.8배 가량 증가한다. (3) 프루닝 모델에 작업‑특화 캘리브레이션 데이터를 추가로 제공하면, 추론 점수가 평균 12점, 최악의 경우 50%까지 회복되는 효과가 관찰되었다. 이는 프루닝이 파라미터 구조를 크게 바꾸면서도, 특정 도메인에 맞는 재조정이 가능함을 의미한다.

또한, 신뢰성 평가에서 압축된 모델은 진실성(sTruth)과 안전성(sSafe)에서 약간의 하락을 보였지만, 공정성(sFair)과 프라이버시(sPri)에서는 큰 차이가 없었다. 이는 압축이 모델의 내부 표현을 단순화하면서도, 편향이나 개인정보 노출 메커니즘에는 크게 영향을 주지 않음을 암시한다.

전체적으로 UniComp은 압축 기법을 단일 프레임워크 안에서 다차원적으로 비교함으로써, 연구자와 엔지니어가 실제 배포 환경에서 어떤 방법이 가장 적합한지 판단할 근거를 제공한다. 특히, 양자화가 대부분의 실용 시나리오에 최적이며, 프루닝은 캘리브레이션을 통해 특정 추론 작업에 맞게 보완할 수 있다는 점이 실무적인 인사이트로 강조된다.