인용분석은 우수성 선택을 정당화할 수 없다

초록

본 논문은 CWTS가 제시한 ‘왕관 지표’(CPP/JCSm, CPP/FCSm)의 최신 버전과 h‑index가 동료 평가 기반 품질 점수와 상관관계가 없음을 보여준다. 147개 화학 연구그룹 데이터를 재분석해 두 지표가 ‘우수(good)’와 ‘탁월(excellent)’을 구분하지 못함을 입증하고, 인용분석이 전략적 우수성 선정을 정당화하기에 부족함을 주장한다.

상세 분석

이 논문은 먼저 Leiden 대학의 CWTS가 기존에 사용하던 ‘왕관 지표’(CPP/JCSm, CPP/FCSm)를 새로운 정규화 방식으로 교체한다는 주장에 대해 비판적 입장을 취한다. 저자들은 Van Raan(2006)이 공개한 147개 화학·화학공학 연구그룹의 마이크로 데이터를 활용해, 두 ‘왕관 지표’와 최근 도입된 h‑index가 동료 평가에서 얻은 품질 점수(Q)와 통계적으로 유의미한 상관관계를 보이지 않음을 확인한다. 구체적으로 Pearson 상관계수와 Spearman 순위 상관계수를 계산한 결과, CPP/JCSm와 CPP/FCSm 사이에는 높은 양의 상관관계(r≈0.78, ρ≈0.78) 가 존재하지만, 이들 지표와 Q 사이의 상관은 거의 0에 가깝다(예: r≈‑0.13, ρ≈‑0.13). h‑index 역시 Q와의 상관이 미미하고, 출판물 수에 민감하게 반응한다는 점에서 ‘왕관 지표’와는 다른 특성을 보인다.

표 1에 제시된 12개 연구그룹 사례를 통해 저자들은 ‘우수(good)’와 ‘탁월(excellent)’이라는 동료 평가 등급을 구분하려 할 때, 세 지표 모두 평균값과 표준오차가 겹쳐 차이를 통계적으로 구별할 수 없음을 시각화한다(Figure 1). 이는 인용 기반 지표가 실제 연구의 질적 차이를 반영하지 못한다는 강력한 증거다.

또한, 전체 147개 그룹에 대한 집계 분석에서는 Q와 h‑index 간에 χ² 검정으로 유의미한 연관성이 나타났지만(Q=4 vs Q=5), Q와 CPP/FCSm 사이에서는 유의미한 차이가 없었다(χ²=4.211, p=0.112). 이는 ‘왕관 지표’가 ‘우수’와 ‘탁월’ 사이의 미세한 차이를 포착하지 못한다는 점을 다시 한 번 강조한다.

저자들은 이러한 결과를 바탕으로 인용분석이 산업화된 현재 상황에서 데이터와 방법론이 투명하게 공개되지 않아 비판적 검증이 어려워졌으며, 결과적으로 정책 결정이나 연구 전략 수립에 사용될 때 근본적인 신뢰성을 상실한다고 지적한다. 특히, ‘왕관 지표’가 필드 정규화라는 명목 아래 실제로는 동료 평가와 일치하지 않는다는 점은, 인용분석이 전략적 우수성 선정을 정당화하기 위한 충분한 근거가 되지 못한다는 결론을 뒷받침한다.