필드 수준 정규화 인용의 분수 계산

초록

본 논문은 기존 CWTS의 “crown indicator”(CPP/FCSm, MNCS) 가 필드 정규화에 사용되는 한계점을 지적하고, 인용을 논문 수준에서 분수화하는 방법을 제안한다. 저자들은 ISI 주제 분류의 불완전성을 비판하고, 인용 행위 자체를 가중치로 활용함으로써 분야 간 인용 밀도 차이를 자연스럽게 보정한다. 실증 분석에서는 7명의 연구자를 대상으로 기존 지표와 새로운 분수 인용 지표를 비교했으며, 통계적 유의미성 검증과 그래프적 표현을 통해 새로운 방법이 보다 신뢰할 수 있음을 보여준다.

상세 분석

이 논문은 과학계 평가에서 필드 정규화가 필수적이라는 전제 하에, 현재 널리 사용되는 CWTS의 “crown indicator”(CPP/FCSm, MNCS)가 근본적인 문제를 안고 있음을 지적한다. 첫 번째 문제는 필드 구분을 위해 사용되는 ISI Subject Categories가 원래 정보 검색을 위해 설계된 것이며, 과학계의 실제 연구 영역을 정확히 반영하지 못한다는 점이다. 저자들은 이 분류 체계가 ‘인덱서 효과’를 발생시켜 인용량을 인위적으로 조정하게 만든다고 비판한다. 두 번째 문제는 정규화 과정 자체가 평균값에 의존한다는 점이다. 평균값은 극단값에 민감하고, 분야 간 인용 밀도 차이를 충분히 반영하지 못한다.

이에 대한 대안으로 제시된 것이 ‘분수 인용(fractional counting)’이다. 이 방법은 각 논문이 참고문헌 리스트에 포함된 전체 인용 수에 따라 인용을 1/N으로 나누어 할당한다. 예를 들어, 수학 논문이 6개의 참고문헌을 인용하면 각 인용은 1/6로 계산되고, 생명과학 논문이 40개의 참고문헌을 인용하면 각 인용은 1/40으로 계산된다. 이렇게 하면 인용을 제공하는 논문의 인용 습관(즉, 분야별 인용 밀도)을 직접 반영하게 된다.

실증 분석에서는 암스테르담 학술 의료센터(AMC)의 232명 연구자를 대상으로 7명의 대표 연구자를 선정해 기존 지표(CPP/JCSm, CPP/FCSm, MNCS)와 새로운 분수 인용 지표를 비교하였다. 표 1에서 보듯이 저널 정규화와 필드 정규화 사이의 순위 상관관계는 각각 ρ>0.99와 ρ=0.75로 차이가 크다. 특히, 기존 MNCS와 새로운 분수 인용 지표는 순위와 평균값에서 유의미한 차이를 보이며, 이는 기존 지표가 여전히 분야 간 차이를 충분히 보정하지 못함을 의미한다.

또한, 그림 2의 박스플롯을 통해 분수 인용값의 분포가 기존 ‘관측 대비 기대 인용’ 비율보다 더 명확한 군집을 형성함을 확인한다. 사후 검정(Tukey, Bonferroni 등)을 적용했을 때, 첫 번째, 두 번째, 세 번째 연구자는 통계적으로 동등한 그룹을 이루지만, 네 번째 연구자와는 유의미한 차이를 보인다. 이는 분수 인용이 실제 인용 행동을 반영함으로써 보다 정밀한 차별을 가능하게 함을 시사한다.

통계적 검증 측면에서도 저자들은 평균값 검정 외에 Welch 검정, Kruskal‑Wallis 검정 등 비모수적 방법을 제시하며, 분수 인용값에 대한 신뢰구간과 오류막대를 그래프에 표시할 수 있음을 강조한다. 이는 평가 결과를 단순히 ‘점수’가 아니라 ‘통계적 의미’를 갖는 지표로 전환시키는 중요한 단계이다.

마지막으로, 저자들은 분수 인용이 ‘세계 평균’이라는 개념을 폐기하고, 임의의 기준 집합(예: ISI 221개 주제 분류, ECOOM 60개 하위 분야)과 비교할 수 있는 유연성을 제공한다는 점을 강조한다. 이는 분야 간 경계가 흐려지는 현대 과학에서 보다 현실적인 정규화 방법으로서의 가치를 부여한다.

요약하면, 이 논문은 기존 필드 정규화 지표의 구조적 한계를 논리적으로 비판하고, 인용 행위 자체를 가중치로 활용하는 분수 인용 방법을 제안함으로써 보다 객관적이고 통계적으로 검증 가능한 연구 성과 평가 체계를 제시한다.