출판 편향이 만든 허위 사실의 신격화

이 연구는 과학적 사실이 어떻게 형성되는지를 수학적 모델로 규명한다. 저자들은 “주장 → 사실” 전이가 일어나는 과정을 일련의 실험과 출판으로 구성된 마코프 과정으로 추상화한다. 기본 전제는 하나의 과학적 주장에 대해 여러 연구팀이 서로 다른 실험을 수행하고, 각 실험은 양성(주장을 지지) 혹은 음성(주장을 반박) 결과를 산출한다는 것이다. 실험 자체는 오류율을 가지고 있는데, 진실인 경우 양성 결과가 나올 확률은 1 − β, 거짓인 경우 양성 결과가 나올 확률은 α(전형적인 유의수준)이다. 실험 결과가 발표되는 단계에서 출판 편향이 작용한다. 양성 결과는 ρ₁, 음성 결과는 ρ₀의 확률로 출판되며, 일반적으로 ρ₁ > ρ₀이다. 저자들은 분석을 단순화하기 위해 ρ₁을 1로 정규화하고, ρ₀를 고정값으로 두어 두 가지 조건부 확률 ω_T와 ω_F를 정의한다. ω_T는 진실인 경우 양성 출판이 관찰될 확률, ω_F는 거짓인 경우 양성 출판이 관찰될 확률이다. 독자는 오직 출판된 논문만을 보고 베이즈 규칙에 따라 신념(q) = P(주장이 진실) 을 업데이트한다. 그러나 실제 독자는 ρ₀을 알지 못하고, 출판 편향이 없다고 가정(ρ₀ = ρ₁ = 1)한다. 따라서 관측된 양성/음성 수(y, k − y)를 이용해 q_k(y)를 계산하는 식은 전통적인 베이즈 공식과 동일하게 전개된다. 이때 중요한 점은 출판 편향이 존재하면 관측된 양성 비율이 실제 양성 비율과 크게 달라진다는 것이다. ρ₀가 작을수록(음성 결과가 거의 출판되지 않을수록) ω_T와 ω_F가 서로 가까워져, 양성 결과만으로는 진위 구분이 어려워진다. 수학적 분석과 시뮬레이션을 통해 저자들은 음성 결과가 전체 출판물의 약 30 % 이상을 차지해야 거짓 주제가 사실로 오인될 확률이 실질적으로 낮아진다는 임계점을 제시한다. 또한 p‑hacking, 데이터 드레싱 등으로 α가 인위적으로 상승하면 ω_F가 크게 증가한다. 즉, 거짓 주장이라도 양성 결과가 과다하게 보고될 수 있어, 출판 편향이 없더라도 거짓이 과대 평가될 위험이 있다. 반대로 검정력(1 − β)이 낮아지면 진실 주제의 양성 출판 확률이 감소해, 진실이 충분히 입증되지 못하고 버려질 가능성이 있다. 논문은 신념이 사전 정의된 두 임계값 τ₀(거부)와 τ₁(신격화) 사이에 머무를 때까지 실험이 반복된다고 가정한다. 이 과정을 마코프 체인으로 모델링하고, 흡수 상태(τ₀, τ₁)까지 도달할 확률을 계산한다. 결과는 다음과 같다. (1) ρ₀가 충분히 크지 않으면 거짓이 사실로 canonization될 확률 P_F가 진실이 사실로 canonization될 확률 P_T와 비슷하거나 심지어 더 커진다. (2) α가 커질수록(즉, false‑positive가 빈번해질수록) P_F가 급격히 상승한다. (3) β가 커질수록(즉, false‑negative가 빈번해질수록) P_T가 감소한다. 이러한 결과는 현재 과학계가 직면한 “재현 위기”와 직접 연결된다. 많은 논문이 양성 결과만을 중심으로 출판되고, 음성 결과는 “파일 드로어”에 묻히는 상황에서는, 실제로는 거짓인 가설도 다수의 양성 실험을 통해 충분히 지지받아 사실로 받아들여질 위험이 있다. 저자들은 이를 방지하기 위한 구체적 방안을 제시한다. 첫째, 음성 결과를 출판하기 위한 제도적 인센티브(예: 저널의 ‘negative results’ 섹션, 사전 등록된 연구에 대한 결과 무조건 출판 정책)를 도입한다. 둘째, 연구 설계 단계에서 p‑hacking을 억제하고, α를 사전에 낮게 설정하도록 프리레지스터리와 사전 검정 계획을 강화한다. 셋째, 연구 공동체가 출판 편향을 정량적으로 추정하고, 베이즈 업데이트 시 이를 보정하는 통계적 방법을 채택한다. 결론적으로, 출판 편향이 존재하고 이를 인식하지 못한 채 기존의 베이즈 논리를 적용하면, 과학적 공동체는 거짓을 사실로 오인할 확률이 크게 증가한다. 따라서 음성 결과의 가시성을 높이고, false‑positive를 억제하는 연구 문화가 정착될 때 비로소 과학적 사실이 보다 신뢰성 있게 축적될 수 있다.