LLM 성능 저하를 통계적으로 감지하는 방법

초록

본 논문은 동일한 평가 샘플을 사용해 최적화 전후 모델의 정확도를 비교할 때 발생하는 의존성을 고려한 통계적 가설 검정 프레임워크를 제안한다. McNemar 검정을 기반으로 한 정확도 저하 확률을 직접 추정하고, 이를 하나의 이항 검정으로 변형해 p‑값을 정확히 계산한다. 여러 벤치마크를 하나로 통합하는 세 가지 집계 방법도 제시하며, 구현 코드를 LM Evaluation Harness에 연동해 공개한다. 실험 결과 0.3% 수준의 미세한 정확도 감소도 신뢰 수준 95% 이하로 검출할 수 있음을 보여준다.

상세 분석

논문은 LLM 최적화(양자화, 스파시티, 효율적인 커널 등) 과정에서 발생할 수 있는 미세한 정확도 변화를 통계적으로 판단하는 문제를 명확히 정의한다. 기존 연구들은 각 벤치마크별 평균 정확도와 표준 오차만을 제시했으며, 이때 두 모델이 동일한 샘플을 사용한다는 사실을 무시해 과도한 분산 추정으로 실제 차이를 놓치는 경우가 많았다. 저자들은 이를 해결하기 위해 McNemar(1947)의 2×2 교차표 접근을 재해석한다.

핵심 변수는 (a, b, c, d)로, a는 두 모델 모두 실패, b는 기준 모델은 성공·최적화 모델은 실패, c는 반대 상황, d는 두 모델 모두 성공을 의미한다. 여기서 정확도 차이는 b와 c만을 이용해 정의할 수 있다. 논문은 “퇴화 확률”(q↓ = P(b)/(b+c))을 도입하고, 모델이 실제로 성능이 저하되었는지는 q↓ > 0.5 여부와 동치임을 정리(Fact 1)한다.

이후 q↓의 표본 추정값 ˆq↓ = b/(b+c)는 (b+c)개의 독립 이항 시행에서 성공 횟수 b와 동일한 분포를 갖는다. 따라서 정확히는 이항 검정을 적용해 단측 p‑값을 계산한다. 기존 McNemar 검정은 (b−c)²/(b+c) 형태의 카이제곱 근사치를 사용했지만, 이는 양측 검정이며 근사 오차가 존재한다. 저자들은 이를 “Exact One‑Sided McNemar Test”라 명명하고, scipy.stats.binom_test 등으로 정확한 p‑값을 얻을 수 있음을 보였다.

통계적 검정력 분석에서는 정확도 차이 δ = γ−β 를 p↕·(2q↓−1) 로 표현하고, p↕ (플립 확률)와 q↓ (조건부 퇴화 확률)의 관계를 탐구한다. 대수적 전개와 중심극한정리를 이용해 δ̂ = (b−c)/N 의 분산을 p↕/N 로 근사함으로써, 플립이 충분히 자주 일어나는 경우(즉, p↕가 크고 b+c가 충분히 큰 경우) 검정력이 크게 향상된다는 결론을 도출한다.

다중 벤치마크 집계에서는 (1) Fisher’s method, (2) Stouffer’s method, (3) Bonferroni 보정 기반 최대 p‑값 방식 등 세 가지 방법을 제안한다. 각각의 방법은 개별 테스트의 독립성 가정, 검정력, 보수성 측면에서 장단점이 있다. 합성 실험을 통해 데이터셋 크기가 작을 때는 Fisher가, 큰 데이터셋에서는 Stouffer가 더 높은 검정력을 보임을 확인했다.

실험에서는 Llama‑3.1 8B, LLaMA‑2 13B 등 다양한 모델에 대해 양자화(KV‑cache 4‑bit, attention 8‑bit)와 손실 없는 최적화(효율적인 커널) 등을 적용했다. 손실 없는 경우에는 q↓ ≈ 0.5, p‑값이 0.5에 가까워 귀무가설을 기각하지 못했으며, 실제로 0.1% 이하의 정확도 차이도 검출되지 않았다. 반면 양자화된 경우에는 b가 c보다 현저히 많아 q↓ > 0.5가 되고, p‑값이 1e‑5 수준으로 떨어져 명확히 성능 저하를 검출했다. 특히 0.3% 수준의 미세한 정확도 감소도 95% 신뢰수준 이하로 검출되었으며, 기존 평균‑표준오차 방식에서는 통계적 유의성을 찾지 못했다.

마지막으로 구현 코드는 GitHub(amazon‑science/LLM‑Accuracy‑Stats) 에 공개했으며, LM Evaluation Harness와 플러그인 형태로 손쉽게 통합할 수 있다. 사용자는 평가 스크립트에 --stat-test mc_nemar 옵션을 추가해 자동으로 교차표를 생성하고, p‑값과 퇴화 확률을 출력받을 수 있다.

전반적으로 논문은 LLM 최적화 후 품질 검증에 필요한 통계적 근거를 제공함으로써, 연구자와 엔지니어가 “실제 성능 저하”와 “수치적 잡음”을 명확히 구분하도록 돕는다.