일반화 선형 모형에서 피어슨 잔차의 분포와 1차 보정

초록

본 논문은 일반화 선형 모형(GLM)에서 피어슨 잔차의 정확한 분포를 구하기는 어렵다는 점을 지적하고, 표본 크기 n에 대해 1/n 차까지의 비대칭 보정을 적용한 근사 밀도식을 제시한다. 보정된 피어슨 잔차를 정의하여, 이론적으로는 진짜 피어슨 잔차와 동일한 1차 근사 분포를 갖도록 만든다. 감마, 포아송, 정규 등 주요 GLM에 대한 구체적 식을 제시하고, 감마 모형을 대상으로 한 시뮬레이션을 통해 보정 잔차가 기존 잔차보다 분포 일치도가 크게 향상됨을 확인한다.

상세 분석

이 연구는 일반화 선형 모형(GLM)에서 흔히 사용되는 피어슨 잔차(Pearson residual)의 분포를 정확히 파악하는 것이 통계적 진단과 모형 검증에 핵심적임을 전제로 한다. 기존 문헌에서는 대수적 변환이나 부트스트랩을 통해 근사적으로만 다루어 왔으며, 특히 표본 크기가 작을 때는 잔차의 비대칭성과 이분산성이 심화돼 표준 정규 근사에 큰 오차가 발생한다. 저자들은 이러한 문제를 해결하고자, 잔차의 확률밀도함수(pdf)를 표본 크기 n에 대한 비율 전개식으로 전개하고, 1/n 차까지의 보정항을 명시적으로 도출하였다. 핵심 아이디어는 원래 피어슨 잔차 r_i = (y_i - μ_i)/√{V(μ_i)} 를 Taylor 전개를 통해 μ_i와 분산 함수 V(·)의 추정오차를 반영한 형태로 재표현하고, 그 결과 얻어지는 확률변수의 기대값과 분산을 1/n 차까지 조정하는 것이다.

수학적으로는 먼저 일반적인 GLM의 로그우도 ℓ(β)와 그 1차·2차 미분을 이용해 점근적 정규성을 확보하고, 잔차 r_i의 무조건적 분포를 f(r_i) = φ(r_i) + n^{-1}ψ(r_i) 형태로 표현한다. 여기서 φ는 표준 정규밀도, ψ는 모델 특성(링크함수, 분산함수, 설계행렬 등)에 따라 달라지는 보정함수이다. 저자들은 ψ를 구하기 위해 Fisher 정보 행렬과 관측 정보 행렬의 차이를 이용한 Edgeworth 전개를 적용했으며, 이 과정에서 잔차의 스큐(skeewness)와 커틀(kurtosis)까지 고려했다.

특히, 보정된 피어슨 잔차 r_i^{}= r_i + n^{-1}δ_i 를 정의함으로써, r_i^{}의 1차 근사 분포가 정확히 φ(r)와 일치하도록 δ_i를 설계하였다. δ_i는 각 관측치의 레버리지(h_i)와 분산 함수의 2차·3차 도함수에 의존하며, 실제 계산은 표준 GLM 소프트웨어에서 추출 가능한 정보(예: hat matrix, deviance residual)만으로 가능하도록 구성되었다.

응용 측면에서는 정규, 포아송, 감마 세 가지 대표적인 GLM에 대해 구체적인 ψ와 δ 식을 제시하였다. 감마 모형에서는 특히 shape 파라미터가 고정된 경우 V(μ)=μ^2·φ 형태가 되므로, 보정항이 μ의 역수와 레버리지의 곱 형태로 단순화된다. 시뮬레이션에서는 n=30, 50, 100인 경우를 대상으로 10,000번 반복 실험을 수행했으며, 보정 전후의 QQ-plot, Kolmogorov‑Smirnov 통계량, 평균 제곱오차(MSE)를 비교하였다. 결과는 보정된 잔차가 표준 정규분포와의 차이가 30% 이상 감소하고, 특히 작은 표본에서 과도한 꼬리 현상이 크게 완화됨을 보여준다.

이 논문의 주요 기여는 (1) 피어슨 잔차의 1/n 차까지의 정확한 근사밀도식을 제공함으로써 이론적 근거를 명확히 한 점, (2) 실용적인 보정 잔차 정의를 통해 기존 진단 도구의 신뢰성을 크게 향상시킨 점, (3) 다양한 GLM에 적용 가능한 일반화된 공식과 구현 방법을 제시한 점이다. 다만, 보정항 계산에 필요한 3차 도함수와 레버리지 행렬의 정확한 추정이 어려운 고차원 데이터에서는 계산 복잡도가 증가할 수 있다는 제한점도 언급한다. 향후 연구에서는 이러한 계산 부담을 줄이기 위한 근사 알고리즘이나, 베이지안 프레임워크와의 연계 가능성을 탐색할 여지가 있다.