새로운 왕관지표(MNCS)의 근본적 한계와 대안적 정규화 방안

초록

레이트스와 오프토프는 기존 “새 왕관지표”(MNCS)가 ISI 주제분류에 의존해 분야별 인용 차이를 보정하는 방식이 근본적으로 부적절하다고 지적한다. 주제분류는 정보검색용으로 설계됐으며, 다중분류 저널에 대한 동등 가중은 인덱서 효과와 순위 왜곡을 초래한다. 저자들은 분수 인용과 같은 분류‑독립적 방법과, 평균 대신 중앙값·백분위 기반 비모수 통계 사용을 제안한다.

상세 분석

레이트스와 오프토프는 CWTS가 제시한 “새 왕관지표”(MNCS)가 여전히 필드 정규화에 있어 근본적인 결함을 안고 있다고 주장한다. 첫 번째 문제는 ISI 주제분류(Subject Categories, SC)가 과학계의 인용 행태를 정확히 반영하지 못한다는 점이다. SC는 원래 정보검색을 위해 설계된 분류 체계이며, 학문 분야의 실질적 경계와는 괴리가 있다. 특히, 저널이 여러 SC에 동시에 귀속될 경우, CWTS는 각 SC에 대해 동일 비율(예: 1/2, 1/3 등)로 가중치를 부여한다. 이는 저널의 실제 전문성이나 인용 패턴을 무시하고, 인덱서가 부여한 라벨에 따라 인용 점수가 인위적으로 변동하게 만든다. 저자들은 이러한 “인덱서 효과”가 순위에 왜곡을 일으키며, 동일 저널 내에서도 분야별 인용 밀도가 크게 다를 수 있음을 강조한다.

두 번째로, 레이트스·오프토프는 평균(mean)이 심하게 왜도된 인용 분포를 요약하기에 부적절하다고 지적한다. 인용 횟수는 일반적으로 롱테일 분포를 보이며, 평균은 소수의 고인용 논문에 의해 크게 좌우된다. 따라서 평균 기반의 MNCS는 실제 연구 성과를 과대·과소 평가할 위험이 있다. 이를 보완하기 위해 저자들은 중앙값(Median) 혹은 백분위수(percentile) 기반 지표를 제안한다. 중앙값은 50번째 백분위에 해당하며, 극단값의 영향을 최소화한다. 또한, 1% 백분위(99번째 백분위)와 같은 고인용 논문 비중을 별도로 측정하면, 연구의 혁신성이나 영향력을 보다 정밀하게 파악할 수 있다.

세 번째 논점은 정규화 방법 자체이다. 레이트스·오프토프는 분야 정규화를 위해 저널 기반이 아닌 “분수 인용”(fractional counting) 방식을 채택할 것을 주장한다. 이는 각 인용을 해당 논문의 참고문헌 수에 따라 가중치(예: 1/6, 1/40 등)로 나누어 계산함으로써, 분야 간 인용 관행 차이를 직접 반영한다. 분수 인용은 어떠한 사전 분류 체계에도 의존하지 않으며, 따라서 인덱서 효과를 완전히 제거한다. 또한, 이 방법은 논문 수준에서 직접 적용 가능하므로, 동일 저널 내에서도 서로 다른 연구 주제에 대한 정규화가 자연스럽게 이루어진다.

마지막으로, 저자들은 현재의 MNCS가 “수학적 일관성”(mathematical consistency)을 유지하기 위해 조화 평균(harmonic mean)을 사용하지만, 이는 근본적인 정규화 오류를 감추는 데 불과하다고 비판한다. 정규화 자체가 부적절하면, 어떠한 평균 방식도 결과를 신뢰할 수 없게 만든다. 따라서 레이트스·오프토프는 MNCS라는 약어를 유지하면서도 “Median Normalized Citation Score”(MNCS)라는 새로운 비모수 지표를 도입하고, 이를 백분위 기반 평가 체계와 연계할 것을 제안한다. 이러한 접근은 정밀도와 타당성을 동시에 확보할 수 있다.