통계적 호환성 반증 정보와 수용성

본 논문은 통계적 추론을 ‘묘사적 빈도주의(descriptive frequentist)’ 관점에서 재구성한다. 저자는 먼저 통계 모델을 가정 집합 A와 목표 가설 Hᵢ의 결합 A + Hᵢ 로 정의하고, 이를 ‘작은 허구적 세계(small fictional world)’라 명명한다. 이 세계 안에서는 A와 Hᵢ가 동시에 참이라고 가정할 때, 데이터는 특정 확률분포를 따르며, 그 분포를 기반으로 P값을 계산한다. P값은 “관측된 통계량이 그 세계에서 얼마나 전형적인가”를 0 ~ 1 사이의 연속적 척도로 나타내며, 값이 클수록 높은 호환성, 작을수록 낮은 호환성을 의미한다. 저자는 작은 P값이 모델 자체의 논리적 불가능을 의미하지 않으며, 모델이 ‘가능한 모든 결과’를 포함하고 있기 때문에 관측이 드물다고만 해석해야 한다고 주장한다. ‘불일치(incompatibility)’라는 용어는 이항적 의미(가능 vs 불가능)와 혼동을 일으키므로, ‘호환성(compatibility)’이라는 표현을 사용한다. 실제 연구에서 P값만으로 가설을 기각하거나 채택하는 것은 위험하며, 모델의 가정이 현실에 얼마나 부합하는지, 데이터 품질은 어떤지, 연구 목적과 손실 구조는 무엇인지 등 외부 요인을 함께 고려해야 한다. 이를 ‘수용성(acceptability)’이라고 정의하고, 수용성 판단은 분석가의 전문성, 윤리적 가치, 의도 등에 의해 좌우된다고 강조한다. 논문은 ‘반증 정보(refutational information)’ 개념을 도입한다. 동전 던지기 예시를 통해, 특정 가설(H₀: 동전이 편향되지 않음)과 가정(A) 하에서 관측된 ‘s번 연속 앞면’ 사건의 확률을 p = 2⁻ˢ 로 표현하고, 이를 로그 변환한 s = −log₂(p) 로 정의한다. 이 s값은 비트 단위의 정보량으로, 관측된 데이터가 가설을 얼마나 강하게 반증하는지를 정량화한다. S값은 P값의 비선형성을 보정하고, 동일한 비트 증가가 동일한 정보 증가를 의미하도록 만든다. 예를 들어, p = 0.01은 약 6.64 bits, p = 0.04는 4.64 bits이며, 두 값 사이 차이는 2 bits이다. 반면 p = 0.91과 0.95 사이 차이는 0.05 bits에 불과해, P값 차이가 동일해도 정보량 차이는 크게 다를 수 있음을 보여준다. 또한, S값은 직관적인 동전 던지기 비유를 제공함으로써, 비전문가도 ‘몇 번의 동전 앞면 연속이 관측되었는가’라는 실험적 기준으로 이해할 수 있다. 이는 특히 의료·공공 정책 등 고위험 분야에서 ‘얼마나 많은 반증 정보가 축적되었는가’를 명확히 전달하는 데 유용하다. 마지막으로, 저자는 빈도주의와 베이지안 접근 사이의 언어적 혼동을 경고한다. ‘희소성(rarity)’과 ‘사후 예측 불일치(posterior predictive conflict)’는 서로 다른 개념이며, 이를 동일한 용어로 혼용하면 오해가 발생한다. 따라서 통계 결과를 해석할 때는 ‘호환성(compatibility)’과 ‘반증 정보(refutational information)’라는 명확한 개념을 사용하고, 최종적인 모델 수용 여부는 외부 증거와 손실 구조, 분석가의 가치 판단을 종합해 결정해야 한다. 요약하면, 이 논문은 P값을 ‘모델‑데이터 호환성’의 연속적 지표로, S값을 ‘반증 정보’의 비트 단위 정량화 도구로 재정의하고, 실제 의사결정에서는 이러한 통계적 지표와 맥락적 요소를 통합해 ‘수용성’ 판단을 해야 한다는 프레임워크를 제시한다.