레인덴 평가의 저널·분야 정규화가 갖는 함정과 개선 방안

초록

레인덴(CWTS)에서 사용하는 저널 인용 점수(JCS)와 분야 인용 점수(FCS)를 평균값으로 나누는 정규화 방식은 인용 분포가 왜곡된 현실에 부적합하다. 저자는 각 논문별 관측값과 기대값을 먼저 비율로 계산한 뒤 평균을 구해야 함을 주장하고, 실제 평가 사례를 통해 두 방법의 차이를 실증한다.

상세 분석

이 논문은 레인덴(CWTS)에서 널리 쓰이는 “Journal Citation Score”(JCS)와 “Field Citation Score”(FCS) 기반 정규화가 근본적인 통계적 오류를 내포하고 있음을 지적한다. 기존 방식은 연구 집단 전체의 평균 인용 횟수(CPP)를 구한 뒤, 이를 해당 집단이 발표한 논문의 평균 JCS·FCS로 나누어 정규화 지표를 만든다. 이는 “두 평균을 나눈다”는 연산으로, 평균값이 정규분포를 전제로 할 때만 의미가 있다. 그러나 인용 횟수는 일반적으로 강한 오른쪽 꼬리를 가진 비대칭(스키) 분포이며, 평균은 극단값에 크게 좌우된다. 따라서 평균을 직접 나누는 방식은 실제 기대값을 과소·과대 평가하게 된다.

저자는 대안으로 “관측값/기대값”을 각 논문마다 계산한 뒤, 그 비율들의 산술 평균을 구하는 방식을 제시한다. 이 방법은 각 논문의 상대적 성과를 개별적으로 반영하고, 전체 집단의 왜곡을 최소화한다. 논문은 실제 최근 평가 사례의 원시 데이터를 입수해 두 정규화 방법을 적용한 결과를 비교한다. JCS·FCS 평균을 이용한 전통적 정규화는 특정 고인용 저널에 과도하게 가중치를 부여해 전체 CPP가 인위적으로 높아지는 반면, 논문별 비율 평균은 보다 균형 잡힌 결과를 보여준다.

통계적 관점에서 보면, 평균을 나누는 연산은 “비율의 평균 ≠ 평균의 비율”이라는 기본 원칙을 위반한다. 특히 분산이 큰 데이터셋에서는 이 차이가 급격히 확대된다. 저자는 이러한 통계적 함정을 명확히 설명하고, 정규화 지표 설계 시 반드시 분포 특성을 고려해야 함을 강조한다. 또한, 레인덴이 제공하는 ‘World Average’ 기준 자체가 분야별 인용 관행 차이를 충분히 반영하지 못한다는 비판도 제기한다.

결론적으로, 논문은 레인덴 정규화가 현재 학계·정책 현장에서 널리 사용되고 있지만, 통계적 타당성이 부족함을 지적하고, 논문별 비율 평균을 채택한 새로운 정규화 프레임워크를 제안한다. 이는 연구 성과 평가의 공정성을 높이고, 과도한 저널 중심 편향을 완화하는 데 기여할 수 있다.