이산분포 적합도 검정, χ²의 함정과 컴퓨터 기반 해결책

초록

이 논문은 기대 확률이 매우 작아지는 이산 모델에서 전통적인 Pearson χ² 검정이 “거의 0으로 나누기” 문제를 일으켜 잘못된 유의성을 보고한다는 점을 지적한다. 저자는 이 문제를 회피하기 위해 재배열 없이도 적용 가능한 root‑mean‑square(RMS) 통계량과 로그‑우도비(G²) 등을 제안하고, Monte‑Carlo 시뮬레이션을 이용해 정확한 p‑값을 계산하는 방법을 제시한다. 다양한 실험·시뮬레이션 예시와 전력(power) 분석을 통해 RMS가 χ²보다 일관되게 우수함을 보이며, 현대 컴퓨터 환경에서 전통적 χ²를 버리고 새로운 검정법을 채택할 것을 권고한다.

상세 분석

본 논문은 이산 확률분포의 적합도 검정에서 가장 널리 쓰이는 Pearson χ² 통계량이 기대 빈도가 거의 0에 가까운 셀에 대해 가중 평균을 수행하면서 “분모가 0에 근접”하는 현상을 야기한다는 근본적인 결함을 폭로한다. 이는 표본 크기가 충분히 크지 않더라도 발생하며, 실제로는 수치적 불안정성뿐 아니라 검정력 저하라는 심각한 통계적 함정을 만든다. 저자들은 이러한 문제를 해결하기 위해 두 가지 대안을 제시한다. 첫 번째는 가중 평균을 포기하고, 관측 빈도와 기대 빈도 사이의 차이를 제곱하여 평균을 취한 root‑mean‑square(RMS) 통계량이다. RMS는 기대 확률이 작아도 0으로 나누는 연산이 없으므로, 극히 희귀한 셀에서도 안정적인 값을 산출한다. 두 번째는 로그‑우도비(G²) 통계량으로, 차이를 로그 변환함으로써 작은 기대 확률에 대한 과도한 가중을 완화한다. 두 통계량 모두 전통적 χ²와 동일한 자유도와 asymptotic χ² 분포를 공유하지만, 작은 표본이나 희귀 셀에서 현저히 높은 검정력을 보인다.

논문은 이론적 정의 외에도 4.1~4.8절에 걸쳐 합성 데이터, Zipf 법칙, 방사성 붕괴, 혈액형 분포, 건강 설문, 나비 종 분포, 종교 소속 등 실제 데이터셋을 적용한다. 특히 4.5절의 Rhesus 혈액형 예시에서는 χ²가 기대 빈도가 0에 가까운 혈형에 대해 과도하게 큰 χ² 값을 반환해 잘못된 귀무가설 기각을 초래한다. 반면 RMS와 G²는 적절한 p‑값을 제공한다.

5절에서는 RMS 검정의 전력과 효율성을 체계적으로 평가한다. 5.1절에서는 파라미터 추정이 없는 경우, 5.2절에서는 최대우도 추정으로 파라미터를 추정한 경우를 다루며, 다양한 절단된 파워‑법칙, 변형 포아송, 기하분포 등을 실험한다. 모든 실험에서 RMS는 χ²보다 높은 검정력을 보이며, 특히 기대 빈도가 5 이하인 셀에서도 유의미한 차이를 탐지한다. 또한, Monte‑Carlo 시뮬레이션을 이용해 정확한 p‑값을 계산함으로써 “임계값 테이블”에 의존하는 전통적 방법을 대체한다.

저자들은 또한 χ²와 RMS가 동일한 경우(즉, 모델이 균등분포일 때)만을 제외하고는 RMS가 전반적으로 더 강건하고 해석이 쉬우며, 재배열(rebinning)이라는 복잡하고 주관적인 전처리 과정을 필요로 하지 않는다는 점을 강조한다. 재배열은 셀의 기대 빈도를 인위적으로 늘려 χ²의 문제를 완화하려는 시도이지만, 이는 데이터 손실과 해석상의 모호성을 초래한다.

결론적으로, 현대 컴퓨팅 파워를 활용해 Monte‑Carlo 기반 정확 검정을 수행한다면, 전통적 χ²는 더 이상 필수적인 도구가 아니다. RMS와 G²는 계산이 간단하고, 작은 기대 빈도에서도 안정적이며, 전력 면에서도 우수하므로, 실무와 연구 현장에서 기존 χ² 검정을 대체할 강력한 대안으로 채택할 것을 권고한다.