기후과학에서의 유의성 검정 남용과 베이지안 대안

본 논문은 기후 과학 분야에서 널리 사용되는 유의성 검정(p‑value)의 오용 사례를 조사하고, 베이지안 통계학적 관점에서 그 의미를 재해석한다. 서론에서는 “95% 유의함”, “90% 유의 수준” 등과 같은 표현이 실제로는 잘못된 해석에 기반하고 있음을 지적한다. 저자는 Journal of Climate의 최근 호와 10년 전 호를 무작위로 선택해 각각 19편 중 14편, 13편 중 7편에서 유의성 검정이 잘못 사용된 사례를 발견했다. 이는 최고 수준의 저널에서도 이러한 오류가 빈번히 발생한다는 증거다. 다음으로 전통적인 유의성 검정의 구조를 설명한다. 귀무가설(H₀)은 “두 시계열이 무관하다”는 가정이며, 관측된 상관계수 r₀에 대해 p‑value는 “H₀가 참일 때 r₀ 이상이 관측될 확률”이다. 저자는 여기서 흔히 발생하는 전치 조건 오류를 강조한다. 즉, p‑value를 “귀무가설이 거짓일 확률” 혹은 “가설이 참일 확률”로 오해하는 것이다. 베이지안 분석을 도입해 p‑value를 p(r₀|H₀)로 표기하고, 관심 있는 사후 확률 p(H₁|r₀)와의 관계를 베이즈 정리로 전개한다. 식 (2)는 사전 오즈 O(H₁)=p(H₁)/p(H₀)와 결합하여 p(H₁|r₀)=1−p(r₀|H₀)·O(H₁)/(1+O(H₁)·p(r₀|H₀))와 같은 형태를 얻는다. 여기서 알 수 있듯이 p‑value만으로는 가설의 진위 확률을 추정할 수 없으며, 사전 확률이 크게 영향을 미친다. 사전 오즈가 무한대(가설이 거의 확실)라면 관측된 상관계수는 사후 확률에 거의 영향을 주지 않는다. 반대로 사전 오즈가 0에 가까우면 관측값이 사후 확률을 거의 바꾸지 않는다. 저자는 2×2 빈도표를 이용해 실험적 예시를 제시한다. 신호‑대‑노이즈 비가 높은 경우, 관련 시계열 100번 실험 중 60%가 “높은 상관(r>rₚ)”을 보이고, 무관 시계열은 5%만이 같은 수준을 보인다. 이때 사전 오즈가 1이면 사후 확률은 60/(60+5)≈92%가 된다. 그러나 이는 사전 오즈가 동등하다는 가정에 기반한다. 신호‑대‑노이즈가 매우 낮은 경우, 관련 시계열과 무관 시계열 모두 5%/95% 비율을 보이며, p‑value가 5%라 하더라도 실제 가설이 참일 확률은 50%에 불과하다. 이는 p‑value와 실제 진위 확률이 크게 불일치할 수 있음을 보여준다. 논문의 마지막 부분에서는 실무적 시사점을 제시한다. 유의성 검정은 “데이터가 무작위가 아니다”는 사실을 확인하는 데는 유용하지만, “결과가 실제 물리적 관계를 반영한다”는 결론을 내리기엔 부족하다. 따라서 기후 연구자는 베이지안 사전 정보, 물리적 모델, 혹은 추가적인 증거와 결합해 결과를 해석해야 한다. 또한, 편집자와 리뷰어가 무조건 유의성 검정을 요구하는 관행을 재고하고, p‑value를 보조적인 지표로 제한하는 것이 바람직하다고 주장한다.