P값의 무모한 안내 지역 증거와 전역 오류의 조화

이 장은 “P값의 무모한 안내”라는 제목 아래, 기본 약리학 연구에서 흔히 사용되는 P값을 재조명한다. 서두에서 저자는 현재 과학계가 ‘재현성 위기’에 직면해 있으며, 통계적 방법의 오용이 그 원인 중 하나라고 지적한다. 특히 P값이 “누구도 묻지 않는 질문에 답한다”는 비판을 인용하면서, P값 자체가 문제가 아니라 이를 둘러싼 오해와 잘못된 적용이 문제라고 주장한다. 첫 번째 핵심 개념은 ‘지역 증거(local evidence)’와 ‘전역 오류(global error rate)’이다. 지역 증거는 현재 실험 데이터가 가설에 대해 제공하는 직접적인 증거 강도이며, 이는 P값이 작을수록 데이터가 귀무가설 하에서 얼마나 이례적인지를 나타낸다. 전역 오류는 검정 절차 전체가 사전에 설정한 제1종 오류(α)와 제2종 오류(β) 등 확률적 특성을 의미한다. 저자는 두 개념을 동시에 고려해야만 과학적 결론이 신뢰성을 갖는다고 강조한다. 다음으로 가설 검정과 유의성 검정의 차이를 상세히 설명한다. Fisher의 유의성 검정은 P값을 연속적인 증거 지표로 보며, ‘유의미함(significant)’이라는 용어는 단순히 ‘관심을 가질 만한 정도’를 의미한다. 반면 Neyman‑Pearson의 가설 검정은 사전에 α와 검정력을 설정하고, 검정 결과를 이산적인 ‘귀무가설 기각’ 혹은 ‘기각하지 않음’으로 결정한다. 현재 실무에서는 두 접근법이 혼합된 NHST(null hypothesis significance testing)가 널리 쓰이지만, 이는 근본적인 철학적 차이를 무시한 채 혼동을 초래한다는 점을 저자는 비판한다. 검정력(power)과 기대 P값(expected P값)의 개념도 중요한 부분을 차지한다. 검정력은 실제 효과가 존재할 때 귀무가설을 올바르게 기각할 확률이며, 표본 크기·효과 크기·α 사이의 트레이드오프 관계에 의해 설계 단계에서 결정된다. 기대 P값은 사전 가정된 효과 크기와 검정 설계에 기반해 평균적으로 기대되는 P값을 의미한다. 이는 연구자가 사후에 관찰된 P값을 해석할 때 보조 지표로 활용될 수 있다. 실제 연구에서 마주치는 문제들—다중 검정, HARKing, P‑해킹—도 구체적인 예와 함께 논의된다. 다중 비교에서는 전역 오류를 제어하기 위해 보정 방법(예: Bonferroni, FDR)이 필요하지만, 이러한 보정이 지역 증거의 해석을 과도하게 보수적으로 만들 수 있음을 지적한다. HARKing(가설을 사후에 바꾸는 행위)과 P‑해킹(분석 경로를 데이터에 맞게 선택)은 전역 오류율을 크게 왜곡하고, 실제 증거 강도와는 무관하게 ‘통계적으로 유의한’ 결과를 만들어낸다. 저자는 이러한 관행을 방지하기 위해 사전 등록(preregistration), 사전 검정력 분석, 그리고 독립적인 복제 실험을 강조한다. 특히 핵심 실험을 새로운 데이터셋으로 재현하면, 지역 증거와 전역 오류 간의 갈등을 해소할 수 있다고 주장한다. 통계적 추론이 과학적 추론을 대체할 수 없다는 철학적 입장도 강조한다. 통계는 불확실성을 정량화하고 오류를 통제하는 도구일 뿐이며, 최종적인 과학적 결론은 도메인 지식, 실험 설계, 그리고 결과 해석의 통합을 통해 이루어진다. 약리학 분야에서 P값이 여전히 널리 사용되는 이유는 그 편리함과 전통에 있다. 그러나 저자는 P값을 “증거의 지표”로서 적절히 활용하고, 동시에 사전 설계된 오류율을 명시적으로 관리한다면, 재현 가능성을 크게 향상시킬 수 있다고 결론짓는다. 결론적으로, 이 장은 P값을 무조건 배제하거나 맹목적으로 신뢰하는 대신, ‘지역 증거와 전역 오류를 동시에 고려하는’ 통합적 접근을 제안한다. 이를 통해 약리학 연구자들이 보다 신뢰성 있는 결론을 도출하고, 재현성 위기를 극복하는 데 기여할 수 있음을 강조한다.