모델 평가를 위한 p값 활용법

초록

본 논문은 모델의 적합도를 판단하기 위한 p값의 정의와 활용을 Bayesian 관점에서 재조명하고, 다양한 불일치 변수(χ², 런 테스트, 포아송‑χ², Likelihood‑ratio 등)를 소개한다. 각 변수에 대한 p값 분포를 시뮬레이션으로 검증하고, 실제 데이터 분석 상황에서의 장단점을 논의한다.

상세 분석

이 논문은 모델 검증을 위해 흔히 사용되는 p값이 실제로 무엇을 의미하는지, 그리고 왜 오용되는지를 체계적으로 분석한다. 먼저 완전한 모델 집합이 존재할 때 Bayesian 업데이트 식 P(θ,M|D)∝P(D|θ,M)P(θ,M) 을 제시하고, 이 경우에는 모델 간의 사후 확률을 직접 비교할 수 있음을 강조한다. 그러나 대부분의 실험에서는 가능한 모델이 제한적이거나 불완전하기 때문에, “좋은 모델”인지 판단하기 위해서는 모델 자체가 옳다고 가정하고 데이터와 모델 사이의 불일치 변수를 정의해야 한다.

불일치 변수 R은 관측값 x 와 모델 예측 f(x|θ,M) 의 차이를 정량화하는 통계량이며, R가 작을수록 모델이 데이터를 잘 설명한다는 의미다. 논문은 R의 분포 P(R|θ,M) 를 이용해 p값을
p=∫_{R>R_D} P(R|θ,M)dR
로 정의한다. 여기서 R_D는 실제 데이터에서 얻은 불일치 값이다. 이 정의에 따르면, 올바른 모델이라면 p값은