P100: 새로운 인용 순위 지표와 기존 백분위법 비교 분석

본 논문은 인용 영향력을 0‑100 범위로 정규화하는 새로운 P100 지표를 제안하고, 1980년 발표된 논문들을 대상으로 SCImago, CWTS, InCites 등 기존 백분위 기반 방법들과의 예측 정확도를 비교한다. P100는 동점 논문을 동일 순위에 배정하고, 최고·최저 논문을 각각 100·0으로 고정하는 장점을 갖지만, 장기 인용 예측에서는 다른 방법들보다 다소 낮은 성능을 보인다.

저자: Lutz Bornmann, Loet Leydesdorff, Jian Wang

P100: 새로운 인용 순위 지표와 기존 백분위법 비교 분석
본 논문은 인용 영향력 정규화 방법론의 현황을 비판적으로 검토하고, 새로운 지표인 P100을 제안함으로써 기존 백분위 기반 접근법의 구조적 문제점을 해결하고자 한다. 전통적으로 인용 정규화는 동일 분야·연도에 속한 논문의 평균 인용수를 기대값으로 삼아 ‘상대 인용률’ 혹은 ‘크라운 지표’를 산출했지만, 인용 분포가 극히 비대칭적이고 장축이 긴 특성 때문에 평균이 소수 고인용 논문에 의해 크게 왜곡되는 한계가 있다. 이러한 문제를 극복하기 위해 비모수적 백분위(quantile) 접근법이 도입되었으며, 현재는 SCImago, CWTS, InCites 등 다양한 변형이 실무에 적용되고 있다. 하지만 기존 방법들은 두 가지 주요 결함을 공유한다. 첫째, 동점 논문(같은 인용수를 가진 논문)에 대한 순위 부여 방식이 일관되지 않아, 동일 성과를 가진 논문이 서로 다른 백분위 값을 받을 수 있다. 둘째, 백분위 스케일이 참조 집합마다 달라 0‑100으로 고정되지 않는다. 예를 들어, Rousseau식( \(100 \times i/n\) )은 0 인용 논문이 50번째 백분위에 배정될 수 있고, Hazen식( \(100 \times (i-0.5)/n\) )은 최고 인용 논문이 100에 미치지 못하는 경우가 발생한다. 이러한 불일치는 분야·연도 간 비교를 어렵게 만든다. P100은 이러한 문제를 해결하기 위해 ‘고유 인용값’(unique citation values)이라는 새로운 기준을 도입한다. 구체적으로, 참조 집합 내 모든 논문의 인용수를 오름차순으로 정렬한 뒤, 동일 인용수를 가진 논문들을 하나의 고유값으로 취급한다. 고유값의 개수를 \(i_{\max}\)라 하면, 각 고유값에 대해 순위 \(R = 100 \times i / i_{\max}\) (i는 0부터 시작)를 부여한다. 이때 가장 높은 인용값은 언제나 100, 가장 낮은 인용값은 0이 된다. 따라서 동점 논문은 자동으로 동일 순위를 갖고, 스케일이 절대적으로 고정된다. 실증 검증을 위해 저자들은 1980년 Thomson Reuters Web of Science에 등재된 모든 논문을 대상으로 31년(1980‑2010) 동안 연도별 누적 인용 데이터를 수집하였다. 각 연도(1‑30년 차)마다 네 가지 정규화 지표(P100, SCImago, CWTS, InCites)를 적용해, 해당 연도 시점의 정규화 값이 31년 차 누적 인용과 얼마나 높은 상관관계를 보이는지를 분석했다. 상관계수와 회귀 모델을 이용한 결과는 다음과 같다. - InCites는 다중 주제분류에 대해 가장 높은 백분위 값을 선택하는 방식(‘최고 백분위 사용’) 때문에, 실제 인용보다 과대평가된 값을 제공하였다. 이는 특히 다학제 논문에서 두드러졌다. - SCImago는 동일 인용수 논문을 저널 평판 지표(SJR2)로 보조 정렬함으로써, 초기 몇 년간의 인용률이 장기 인용을 예측하는 데 가장 높은 설명력을 보였다. 다만, 저널 평판을 순위에 반영하는 것이 이론적으로 타당한가에 대한 논란이 남는다. - CWTS는 기존 Hazen식 백분위에 기반해 평균적으로 안정적인 예측을 제공했지만, 동점 논문 처리에서 약간의 불확실성이 존재한다. - P100는 초기 인용률과 장기 인용 사이의 상관이 다른 방법들에 비해 낮았다. 특히, 초기 몇 년간 인용이 거의 없는 논문에 대해 0‑100 스케일이 과도하게 압축되어, 장기 성장 잠재력을 충분히 반영하지 못하는 경향이 있었다. 이러한 결과는 P100가 이론적으로는 순위 일관성과 동점 처리에서 우수하지만, 실제 평가 상황에서 ‘예측력’이라는 실용적 목표를 달성하려면 보완이 필요함을 보여준다. 예를 들어, 초기 인용 성장 곡선을 고려한 가중치 적용이나, 분야별 특성을 반영한 변형이 필요하다. 또한, 고유 인용값 기반 순위는 표본 크기가 작을 경우 급격히 변동할 수 있어, 안정성 검증이 필수적이다. 결론적으로, 저자들은 P100가 백분위 기반 정규화의 근본적인 한계를 해결하는 혁신적 접근법임을 인정하면서도, 현재 형태만으로는 평가 지표로서의 전반적 우월성을 주장하기 어렵다고 판단한다. 향후 연구에서는 P100와 기존 지표의 장점을 결합하거나, 동점 논문 처리와 스케일 고정이라는 두 핵심 원칙을 유지하면서 예측력을 강화하는 방법을 모색해야 할 것이다.

원본 논문

고화질 논문을 불러오는 중입니다...

댓글 및 학술 토론

Loading comments...

의견 남기기