CPP/FCSm 지표와 동료 평가의 상관관계 재검토

초록

본 논문은 Opthof와 Leydesdorff가 제시한 “CPP/FCSm 지표와 동료 평가 사이에 유의한 상관관계가 없다”는 주장에 대해, 원 데이터 전체(147개 연구그룹)를 이용하고 보다 적절한 통계 방법을 적용하여 재분석한다. 분석 결과 CPP/FCSm 지표와 동료 평가 점수 사이에 중간 정도의 양의 상관관계(스피어만 ρ≈0.45)가 존재함을 확인하고, 특히 ‘우수(5점)’와 ‘좋음(4점)’ 그룹 간에도 평균 CPP/FCSm 차이가 통계적으로 유의함을 보여준다. 또한, 통계적 유의성 검정만으로 관계 유무를 판단하기보다는 효과 크기와 실질적 의미를 강조한다.

상세 분석

이 논문은 두 가지 핵심 비판을 제시한다. 첫째, Opthof와 Leydesdorff가 사용한 데이터가 Van Raan(2006) 논문에 제시된 표 1·2의 요약값에 불과해 표본이 12개에 불과했으며, 이는 통계적 검정력과 일반화 가능성을 크게 저해한다는 점이다. 저자들은 원본 데이터(147개 연구그룹, 각 그룹당 평균 140편 논문) 전체를 확보하고, 이를 바탕으로 CPP/FCSm 점수와 동료 평가 점수(3‑5점) 사이의 관계를 재검증한다.

두 번째 비판은 방법론적이다. Opthof와 Leydesdorff는 ‘관계 존재 여부’를 검정하기 위해 전통적인 가설 검정(p‑값)만을 사용했으며, CPP/FCSm 점수를 세 구간(≤1, 1‑2, >2)으로 강제 변환해 정보 손실을 초래했다. 저자들은 대신 평균·중위수·표준편차와 부트스트랩 기반 95 % 신뢰구간을 제시하고, 스피어만 순위 상관계수와 Kendall‑τ 변형을 이용해 효과 크기를 직접 측정했다.

분석 결과, 품질 점수가 3, 4, 5인 그룹 각각에 대해 CPP/FCSm 평균이 1.02, 1.55, 1.99로 점진적으로 상승한다. 4점 그룹과 5점 그룹 사이 평균 차이는 0.44(95 % CI 0.15–0.74)이며, 3점과 4점 사이 차이는 0.53(95 % CI 0.31–0.73)이다. 이는 통계적으로 유의할 뿐 아니라 실질적으로도 ‘우수’ 그룹이 ‘좋음’ 그룹보다 약 30 % 높은 인용 성과를 보임을 의미한다. 스피어만 ρ=0.45(95 % CI 0.31–0.57)는 중간 정도의 상관관계를 나타내며, Kendall‑τ 변형에서는 0.46(95 % CI 0.32–0.59)이라는 유사한 결과가 도출된다.

또한, 저자들은 동료 평가 자체가 완전한 ‘진리’가 아니라는 점을 강조한다. 피어 리뷰는 신뢰도와 편향 문제를 안고 있으며, 따라서 인용 지표와의 불일치가 반드시 지표의 결함을 의미하지 않는다. 실제로 Moed(2005)와 Rinia 등(1998) 연구에서도 동료 평가와 인용 지표 사이에 일정 수준의 차이가 존재함을 보고했다.

결론적으로, Opthof와 Leydesdorff의 주장은 제한된 표본과 부적절한 분석 방법에 기인한 것이며, 전체 데이터를 활용한 적절한 통계 분석은 CPP/FCSm 지표가 동료 평가와 의미 있는 상관관계를 가지고 있음을 보여준다. 이는 연구 성과 평가에서 인용 지표와 피어 리뷰를 상호 보완적으로 활용해야 함을 시사한다.