정규성을 넘어 과학 측정 불확실성의 실제 분포

이 논문은 과학적 측정값에 대한 불확실성 평가가 실제 데이터와 얼마나 일치하는지를 정량적으로 검증하고, 그 결과가 기존의 정규분포 가정과 크게 다름을 보여준다. 연구자는 의학, 핵·입자 물리학, 그리고 다양한 분야의 국제 비교 실험 데이터를 총 4만 1천 건, 3 200여 개의 양에 대해 수집하였다. 각 양에 대해 최소 다섯 번 이상의 독립적인 측정이 존재하고, 각각의 불확실성이 명시된 경우만을 포함하였다. 데이터 전처리 단계에서는 자동화 스크립트와 OCR, 수동 검증을 병행해 오류를 최소화했으며, 재현성이 의심되는 중복 측정은 제외하였다. 의료 분야 데이터는 Cochrane 리뷰에서 추출했으며, 대부분 비율 형태(예: 치료군 대비 대조군 사망률)였으므로, 큰 표본 크기 가정 하에 정규근사된 차이값으로 변환하였다. 물리학 데이터는 Review of Particle Physics와 Table of Radionuclides에서 가져왔고, 국제 비교 데이터는 다양한 메트롤로지·환경·독성학 연구에서 수집하였다. 핵심 분석 방법은 ‘정규화 차이(z)’를 정의하고, 모든 가능한 측정쌍에 대해 z값을 계산하는 것이었다. z는 두 측정값의 차이를 그들의 결합 불확실성(루트합)으로 나눈 값으로, 불확실성이 정확히 평가되었다면 z는 표준 정규분포(N(0,1))를 따라야 한다. 실제로 관찰된 z분포는 정규분포보다 훨씬 넓은 꼬리를 보였으며, 특히 5σ 이상 차이가 기대보다 5 × 10⁵배 더 자주 발생했다. 이는 ‘5σ 발견 기준’이 물리학 분야에서만 통계적으로 타당함을 뒷받침한다. 다양한 확률밀도함수에 피팅한 결과, 비표준화 학생‑t 분포가 가장 적합했다. 자유도 ν가 1에 가까울수록 코시(라우렌지) 형태에 근접해 꼬리가 두껍고, ν가 무한대로 갈수록 정규분포에 수렴한다. 의료와 물리학 데이터 모두 ν≈2 정도를 보였으며, 이는 ‘거의 코시’ 수준의 헤비테일을 의미한다. 핵·입자 물리학 데이터는 약간 더 큰 ν 값을 보여 정규성에 가까웠지만, 여전히 정규분포보다 무거운 꼬리를 가지고 있었다. 논문은 불확실성의 원천을 통계적(Type A)과 시스템적(Type B)으로 구분하고, 특히 ‘mistake(알려진 알 수 없는)’와 ‘unknown unknown(알려지지 않은 알 수 없는)’ 오류가 전력법칙 형태(p ∝ x⁻ᵅ)의 확률분포를 따른다고 주장한다. 이는 복잡계 이론에서 제시되는 고장 메커니즘과 일치한다. 작은 오류는 빈번히 발생하지만, 큰 오류는 드물게 발생하되 정규분포가 예측하는 것보다 훨씬 높은 확률로 나타난다. 연구는 또한 불확실성 평가가 시간이 지남에 따라 개선되는 경향을 보였다. 물리학 분야는 특히 측정 기술과 통계 방법론이 발전하면서 불확실성 평가가 빠르게 정규분포에 근접하고 있다. 반면 의료 분야는 상대적으로 개선 속도가 느리지만, 현재 수준에서도 정규분포 가정보다 헤비테일을 더 잘 설명한다. 실용적인 시사점으로는, 메타분석이나 정책 결정 시 기존의 ‘p < 0.05’ 혹은 ‘5σ’ 기준을 무조건 적용하는 것이 위험하다는 점이다. 대신, 헤비테일을 반영한 학생‑t 혹은 코시 형태의 분포를 가정하고, 파워‑로우 오류 모델을 포함하는 것이 보다 현실적인 불확실성 추정에 기여한다. 이는 연구 결과의 재현성을 평가하고, 과학적·사회적 의사결정에서 기대치를 설정하는 데 중요한 기준이 될 수 있다.