베르누이 시행 성공 확률 검정에서 p값과 가능도비의 관계

초록

본 논문은 동전 던지기 실험을 통해 성공 확률 θ에 대한 가설 검정에서 p‑값과 가능도비(또는 베이즈 팩터) 사이의 비선형 관계를 정량적으로 분석한다. 표본 크기 n이 커질수록 두 지표는 서로 다른 스케일로 변동하며, 특히 p=0.05 수준에서는 어떤 대립 가설과도 가능도비가 7.5를 초과할 수 없다는 상한을 제시한다. 또한 “5시그마” 수준의 p‑값이 반드시 큰 가능도비를 의미하지 않으며, 공정한 동전을 여러 번 던져 평균에서 여러 표준편차만큼 벗어나는 경우에도 큰 가능도비를 얻기 어렵다는 결론을 도출한다.

상세 분석

논문은 먼저 θ가 균등분포인 가설 H₁과 θ=½인 공정동전 가설 H₂를 비교한다. n번의 동전 던짐에서 k개의 앞면이 관측되면 가능도비는
LR = (∫₀¹ θᵏ(1−θ)ⁿ⁻ᵏ dθ) / (½)ⁿ = (n! / (k! (n−k)!))·(1/2)ⁿ·B(k+1, n−k+1) 형태가 된다. 여기서 u = (n−2k)/√n 로 표준편차 단위 편차를 정의하면, 대수적 전개와 스털링 근사를 이용해
ln LR ≈ −½ ln(π n/2) + u²/2
이라는 2차식 근사가 도출된다. 이는 n이 충분히 클 때 LR ≈ √(π n/2)·e^{u²/2} 로 요약될 수 있다. 즉, 같은 u값이라도 표본이 커질수록 LR은 √n에 비례해 증가한다는 점이 핵심이다.

p‑값은 H₂ 하에서 양측 검정이면 p ≈ 2 Φ(−|u|) 로 근사되고, 다시 u가 큰 경우 Φ(−u) ≈ (1/√(2π)u) e^{−u²/2} 를 이용하면
p ≈ √(2/π)·u^{−1}·e^{−u²/2}
가 된다. 이를 LR과 연결하면
LR ≈ 1 / (p √{−2 n ln p})
라는 관계식이 얻어진다. 여기서 n이 명시적으로 등장함을 확인할 수 있다. 즉, 동일한 p값이라도 표본 크기에 따라 LR은 크게 달라진다.

다음으로 두 점 가설 H₀: θ=θ₀와 Hₓ: θ=θₓ(θₓ는 관측값 k와 편차 x에 의해 정의) 사이의 가능도비를 분석한다. 표준편차 σₙ = √{θ₀(1−θ₀)} √n 로 정규화한 u를 도입하고, x가 u의 일정 범위 안에 있을 때
LRₓ ≈ exp