루트 평균 제곱 적합도 검정의 신뢰구간 계산 혁신

초록

본 논문은 전통적인 카이제곱 검정에서 기대빈도에 대한 나눗셈을 제거한 루트 평균 제곱(RMS) 통계량의 신뢰수준을 효율적으로 계산하는 알고리즘을 제시한다. asymptotic 해석과 Monte Carlo 시뮬레이션을 통해 정확한 p‑값을 얻을 수 있으며, 재빈도화(rebinning)의 필요성을 없앤다.

상세 분석

본 연구는 “루트 평균 제곱(RMS) 검정”이라는 변형 통계량을 정의하고, 이 통계량의 asymptotic 분포를 정밀히 분석한다. 전통적인 카이제곱 검정은 각 관측값 (O_i)와 기대값 (E_i) 사이의 차이를 ((O_i-E_i)^2/E_i) 형태로 합산하는데, 여기서 (E_i)가 매우 작거나 0에 가까울 경우 분모가 불안정해 재빈도화가 필수적이었다. RMS 검정은 (\sum_i (O_i-E_i)^2) 로 정의함으로써 이러한 나눗셈을 제거한다. 그러나 이 경우 각 구간의 분산이 서로 다르므로, 통계량의 분포는 단순한 (\chi^2_k)가 아니라 공분산 행렬 (\Sigma)에 의해 가중된 제곱합 형태가 된다.

논문은 먼저 다항분포의 중심극한정리를 이용해 (\sqrt{n}(O-E)) 가 다변량 정규분포 (N(0,\Sigma)) 로 수렴함을 보이고, RMS 통계량을 (\mathbf{Z}^\top \mathbf{Z}) 형태로 재표현한다. 여기서 (\mathbf{Z}=L^{-1}(O-E))이며, (L)은 (\Sigma)의 Cholesky 분해 혹은 고유값 분해를 통해 얻어진다. 결과적으로 RMS 통계량은 독립적인 표준 정규 변수들의 제곱합, 즉 (\sum_{j=1}^{k-1}\lambda_j \chi^2_1) 로 표현되며, (\lambda_j)는 (\Sigma)의 비영 고유값이다.

이러한 표현을 이용해 논문은 두 가지 계산 방법을 제시한다. 첫 번째는 고유값 (\lambda_j)를 정확히 구하고, 각 (\lambda_j)에 대한 가중 (\chi^2) 분포의 누적분포함수(CDF)를 수치 적분(예: Davies 알고리즘)으로 합산해 asymptotic p‑값을 얻는 “black‑box” 알고리즘이다. 이 방법은 복잡도가 (O(k^3)) (고유값 분해)와 (O(k)) (CDF 합산) 수준이며, 실용적인 샘플 크기와 구간 수에 대해 매우 빠르게 동작한다.

두 번째는 정확한 신뢰수준을 원할 경우 Monte Carlo 시뮬레이션을 수행하는 방법이다. 여기서는 원본 다항분포에서 대규모 표본을 직접 생성하고 RMS 통계량을 계산해 경험적 분포를 구축한다. 논문은 시뮬레이션 횟수와 표본 크기에 따른 오차 한계를 이론적으로 분석하고, 적절한 표본 수(예: (10^6) 이상)에서 4자리 정확도의 p‑값을 얻을 수 있음을 실험적으로 입증한다.

핵심적인 통찰은 “분모 제거”가 통계량의 분산 구조를 복잡하게 만들지만, 고유값 분해와 가중 (\chi^2) 합산을 통해 정확한 asymptotic 분포를 손쉽게 얻을 수 있다는 점이다. 또한, 재빈도화가 필요 없으므로 데이터 전처리 단계에서 발생할 수 있는 정보 손실을 방지한다. 논문은 이 방법이 특히 희소 데이터, 비균등 기대빈도, 혹은 연속형 변수를 구간화한 경우에 유리함을 강조한다.