p값과 거짓 양성 위험 재검토 비판에 대한 답변

초록

본 논문은 2017년 발표한 “p값에 거짓 양성 위험(FPR)을 보완하라”는 주장에 대한 Arandjelovic의 비판에 답변한다. 저자는 FPR를 베이지안 확률로 정의하고, 단일 실험에서 p값만으로는 효과의 존재를 확신할 수 없으며, 사전 확률과 검정력 등을 고려한 FPR 추정이 필요함을 강조한다. 비판에서 제기된 대안적 베이지안 방법론과 수학적 복잡성 문제에 대해, 자신의 접근법이 계산적으로 간단하고 직관적이며 실무에 적용하기 용이하다는 점을 변호한다. 또한, 사전 확률 선택의 주관성, 오류 유형, 그리고 “p‑값이 0.05 이하이면 충분히 신뢰한다”는 전통적 해석의 한계를 재조명한다.

상세 분석

이 논문은 저자가 2017년 제시한 “p값에 거짓 양성 위험(FPR)을 추가하라”는 제안을 방어하는 형태로 전개된다. 먼저 FPR를 “단일 무편향 실험에서 p값을 근거로 효과가 존재한다는 주장을 할 때, 그 주장이 실제로는 우연에 의한 것일 확률”로 정의하고, 이는 베이지안 관점에서 사전 확률(prior probability)과 사후 확률(posterior probability)을 연결하는 문제임을 강조한다. 저자는 FPR 계산에 있어 무수히 많은 베이지안 방법이 존재하지만, 자신의 선택이 “수학적으로 가장 단순하고 직관적으로 이해하기 쉬운” 방법이라고 주장한다. 이는 실제 연구 현장에서 통계적 해석을 복잡하게 만들지 않으면서도, p값만으로는 충분히 정보를 제공하지 못한다는 점을 보완하려는 실용적 의도다.

Arandjelovic의 비판은 주로 (1) 사전 확률을 임의로 설정하는 것이 과학적 근거가 부족하다는 점, (2) 베이지안 접근법이 복잡하고 계산량이 많아 일반 연구자에게 적용하기 어렵다는 점, (3) 기존의 p값 해석 체계와 충돌한다는 점을 들었다. 저자는 이에 대해 사전 확률은 “전문가 의견, 이전 연구, 메타분석 등으로 근거를 마련할 수 있다”고 반박하고, 사전 확률이 없을 경우 최소한의 가정으로도 FPR을 추정할 수 있는 보수적 접근법을 제시한다. 또한, 베이지안 계산이 복잡하다는 비판에 대해서는, 자신의 공식이 기본적인 베타분포와 정규분포 근사를 이용해 손쉽게 구현 가능함을 수식과 예시를 통해 증명한다.

논문은 또한 “p값이 0.05 이하이면 결과가 신뢰할 수 있다”는 전통적 해석이 실제 오류율을 과소평가한다는 점을 강조한다. 저자는 p값이 0.05일 때, 사전 확률이 0.1이라면 FPR은 약 0.53이 될 수 있음을 보여주며, 이는 “통계적 유의성”이 “실질적 의미”와 동등하지 않다는 강력한 경고이다. 이러한 사례는 연구자가 결과를 발표할 때, 단순히 p값만 제시하는 것이 아니라 FPR과 같은 추가 지표를 제공함으로써 독자가 오류 가능성을 보다 정확히 평가하도록 돕는 것이 필요함을 시사한다.

결론적으로, 저자는 자신의 FPR 추정법이 “단순성, 직관성, 실용성”을 갖추었으며, 비판적 의견을 수용하면서도 핵심 논지는 변함없다고 주장한다. 그는 앞으로 통계 교육과 논문 작성 지침에 FPR을 포함시키는 것이 재현성 위기를 완화하는 데 기여할 것이라고 제언한다.