자연과학 저널의 이중맹검 선택과 결과 분석

초록

본 연구는 2015년 3월부터 2017년 2월까지 25개 네이처 계열 저널에 제출된 128,454편의 원고를 대상으로, 저자들이 이중맹검(DBPR)과 단일맹검(SBPR) 중 어떤 방식을 선택했는지와 그 선택이 논문 결과에 미치는 영향을 분석하였다. DBPR 선택 비율은 12%였으며, 저널 등급, 기관 명성, 국가에 따라 선택 비율에 차이가 있었다. 성별과는 연관성이 없었다. DBPR 원고는 SBPR 원고에 비해 최초 결정 및 최종 심사 단계에서 거절될 확률이 유의하게 높았다.

상세 분석

이 연구는 네이처 계열 25개 저널에 2년간 제출된 원고 데이터를 활용해 DBPR과 SBPR의 선택 패턴과 결과 차이를 정량적으로 탐색하였다. 데이터 전처리 단계에서 저자 이름을 Gender API에 입력해 성별을 추정하고, 기관명은 GRID API로 정규화한 뒤 2016/2017년 THE 순위와 매핑해 명성 그룹(1~4)으로 구분하였다. 성별 추정 정확도 80% 이상인 83,256건을 ‘Gender Dataset’으로 사용했으며, 기관 명성 정보가 있는 58,920건을 ‘Institution Dataset’으로 분석에 포함시켰다.

통계적 검증은 주로 Pearson 카이제곱 검정과 비율 동등성 검정을 사용했으며, 유의수준 0.05를 적용하였다. 저널 등급과 리뷰 유형 간의 연관성은 χ²=378.17, df=2, p<2.2e‑16, Cramer’s V=0.054로 나타나, 등급이 높을수록 DBPR 선택 비율이 약간 상승한다는 작은 효과를 보였다. 성별과 리뷰 유형 간에는 χ²=0.2488, p=0.6179로 유의한 차이가 없었다. 기관 명성 그룹별 DBPR 선택 비율은 저명한 기관(그룹 1)보다 낮은 명성 그룹(그룹 3)에서 더 높았으며, χ² 검정에서도 유의한 차이가 확인되었다. 국가별 분석에서도 상위 10개 국가 중 일부에서 DBPR 선택 비율에 유의한 차이가 있었다.

결과 측면에서 DBPR 원고는 최초 결정 단계에서 거절될 확률이 SBPR 대비 약 1.3배 높았으며, 최종 심사 후에도 거절 비율이 유의하게 높았다. 그러나 원고 품질에 대한 독립적인 측정이 없었고, 동일 원고가 두 리뷰 모델에 동시에 적용된 실험적 설계가 없었기 때문에, 이러한 차이가 실제 편향 때문인지 혹은 저자 스스로 품질을 낮게 평가하고 DBPR을 선택했는지 구분하기 어렵다.

연구의 한계는 데이터의 일부 결측(리뷰 유형 미기입 5,011건)와 성별 추정의 불확실성, 기관 명성 분류 기준의 임의성, 그리고 DBPR 선택이 저자들의 전략적 판단(예: 높은 기대치, 위험 회피)과 연관될 가능성을 충분히 통제하지 못한 점이다. 그럼에도 불구하고, 대규모 다학제 저널을 대상으로 한 최초의 관찰 연구로서, DBPR이 실제로는 저자에게 불리하게 작용할 수 있다는 실증적 증거를 제공한다. 이는 편집자와 출판사가 DBPR 옵션을 제공할 때 기대 효과와 실제 결과 사이의 괴리를 인식하고, 보다 정교한 편향 완화 방안을 모색해야 함을 시사한다.