양자화가 초래하는 사회 편향 변동과 불확실성

초록

본 연구는 사후 훈련 양자화가 대형 언어 모델의 사회 편향에 미치는 영향을 최초로 대규모로 조사한다. 50개의 양자화 모델을 13개의 편향 벤치마크(총 85 K 질문)에서 평가한 결과, 평균 편향 점수는 크게 변하지 않지만 21 %까지의 응답이 편향↔비편향 상태로 전환되는 ‘양자화 유도 마스크 편향 플리핑’ 현상이 발견되었다. 전환은 모델 불확실성이 높은 경우 3‑11배 더 빈번했으며, 4비트 양자화가 8비트보다 4‑6배 큰 변화를 일으켰다. 또한 인구통계 그룹별로 편향이 -14 %에서 +18.6 %까지 비대칭적으로 변동해, 집계 지표만으로는 위험을 감지하기 어렵다.

상세 분석

이 논문은 사후 훈련 양자화(Post‑Training Quantization, PTQ)가 대형 언어 모델(LLM)의 사회 편향에 미치는 미묘하고도 구조적인 변화를 정량화한다. 연구팀은 50개의 양자화 모델을 4‑bit, 8‑bit, RTN, SmoothQuant, FMT10K 등 다양한 양자화 기법으로 변환하고, 이를 통합 벤치마크인 PostTrainingBiasBench에 적용했다. PostTrainingBiasBench는 기존 13개의 편향 데이터셋을 ‘편향 식별’, ‘동등 결과(정보 제공 상황)’, ‘편향 프롬프트에 대한 회피·불확실성’이라는 세 가지 능력으로 재구성하고, 응답을 사전·사후 쌍(pair)으로 수집해 퍼뮤테이션 기반 통계 검정을 수행한다.

핵심 발견은 ‘양자화 유도 마스크 편향 플리핑(quantization‑induced masked bias flipping)’이다. 이는 개별 응답이 편향↔비편향으로 전환되지만, 데이터셋 전체의 평균 편향 점수는 변하지 않아 기존 집계 지표로는 포착되지 않는다. 플리핑 비율은 전체 응답의 최대 21 %에 달했으며, 특히 모델이 높은 엔트로피(불확실성)를 보이는 경우 3‑11배 더 자주 발생했다. 양자화 비트 수가 낮을수록(4‑bit) 플리핑 빈도가 크게 증가했으며, 모델 규모와는 뚜렷한 상관관계가 없었다.

그 외에도 인구통계 그룹별 편향 변동을 분석했을 때, 동일 모델 내에서도 특정 그룹은 편향이 18.6 % 악화되는 반면, 다른 그룹은 14.1 % 개선되는 비대칭 현상이 드러났다. 이는 ‘중립적인’ 집계 결과가 실제로는 특정 소수 집단에 불리하게 작용할 수 있음을 시사한다.

통계적 검증은 퍼뮤테이션 테스트와 Cohen’s d 효과 크기 측정을 결합했으며, 다중 비교 보정을 위해 Benjamini–Hochberg FDR을 적용했다. 또한 편향 판별 도구(LLaMA‑Guard)의 한계도 검증했는데, 일부 데이터셋에서는 정밀도가 0.5 수준에 머물러 플리핑 추정에 주의가 필요함을 밝혔다.

결론적으로, 양자화는 단순히 연산 효율성을 높이는 기술이 아니라, 모델의 불확실성을 증폭시켜 편향 패턴을 구조적으로 재편한다는 점을 강조한다. 따라서 양자화 후 반드시 편향 평가와 불확실성 보정 절차를 포함시켜야 하며, 특히 고위험 도메인(의료, 법률 등)에서는 사후 검증이 필수적이다.