백분위 순위 점수는 상대 성과의 일관된 지표인가

초록

본 논문은 백분위 순위 점수와 I³ 지표가 각각 상대적·절대적 성과를 평가하는 데 일관(congruous)한 지표가 될 수 있음을 수학적으로 증명한다. 백분위 정의를 명확히 하고, “상대 일관성”과 “절대 일관성”을 정의한 뒤, 전자는 엄격히 일관(congruous)함을, 후자는 절대적으로 일관(strictly congruous)함을 보인다. 또한 기존 정의와의 차이를 사례와 반례를 통해 설명한다.

상세 분석

논문은 먼저 “일관성(congruity)”이라는 개념을 두 단계로 정의한다. 평균(또는 상대) 성과 지표 f에 대해, 두 집합 A와 B가 동일한 원소 수를 가질 때, 동일한 문서를 각각 추가한 A′, B′에 대해 f(A)>f(B) ⇔ f(A′)>f(B′)이면 ‘엄격히 일관’이라 하고, f(A)>f(B) ⇒ f(A′)≥f(B′)이면 ‘일관’이라 명명한다. 이 정의는 기존 문헌에서 사용된 ‘일관성(consistency)’과는 차이가 있으며, 특히 추가되는 문서가 두 집합의 공통 참조 집합에 속해야 한다는 조건을 추가함으로써 불필요한 변동을 방지한다.

다음으로 백분위 순위 점수(R)와 I³ 점수(I₃)의 수식적 정의를 제시한다. 백분위 순위 점수는 각 문서가 속한 백분위 클래스 k에 부여된 점수 x_k를 가중치로 하여 평균을 취한 형태이며, I₃ 점수는 동일한 가중치를 합산하는 절대적 지표이다. 여기서 핵심은 백분위 클래스 자체가 참조 집합 S에 의해 고정된다는 전제다.

논문은 백분위 순위 점수가 ‘엄격히 일관’함을 증명한다. A와 B가 같은 원소 수를 가질 때, 각 클래스에 속한 문서 수 n_A(k), n_B(k)와 점수 x_k를 이용해 R(A)=∑_k x_k·n_A(k)/N, R(B)=∑_k x_k·n_B(k)/N 로 표현한다. 동일한 문서가 클래스 j에 추가되면 두 식에 동일한 x_j/N이 더해지므로 부등호 관계가 보존된다. 따라서 R은 평균 성과에 대해 엄격히 일관한다.

절대 성과 지표인 I₃는 평균을 취하지 않으므로, A와 B의 원소 수가 달라도 동일한 문서가 추가될 때 I₃(A)와 I₃(B)에 동일한 x_j가 더해진다. 이는 부등식의 방향을 변형시키지 않으며, 따라서 I₃는 절대 성과에 대해 ‘엄격히 일관’함을 갖는다.

논문은 또한 기존의 백분위 정의(예: Leydesdorff et al.)와 저자가 제안하는 정의 사이의 차이를 구체적인 예시와 표를 통해 비교한다. Leydesdorff 방식은 “#≤” 대신 “<#”를 사용해 최고 인용 논문이 100점이 되지 않을 위험이 있으며, 이를 보정하기 위해 임의의 0.9를 더하는 등 부조정이 필요하다. 저자는 Beirlant et al.의 정의를 채택해 오른쪽 폐쇄 구간을 사용함으로써 최고값이 항상 최고 점수를 받도록 설계한다.

반례를 통해 백분위 점수가 ‘상대 일관성’을 위배할 수 있음을 보여준다. 동일한 문서를 두 집합에 추가했을 때 참조 집합 자체가 변하면 클래스 구간이 이동해 점수가 뒤바뀔 수 있다. 이를 해결하기 위해 정의 1a에서는 추가 문서가 두 집합의 공통 참조 집합에 이미 포함된 경우에만 일관성을 논하도록 제한한다.

마지막으로 HCP(Highly Cited Publications) 지표를 I₃의 특수 경우로 해석한다. 두 클래스(고인용 vs 비고인용)만을 두고 가중치를 1과 0으로 설정하면 I₃ 식이 바로 HCP 카운트와 동일해진다.

전반적으로 논문은 백분위 기반 지표와 I³ 지표가 수학적 일관성을 만족함을 증명하고, 실제 적용 시 정의의 미세 차이가 결과에 미치는 영향을 명확히 제시한다. 이는 연구 평가에서 평균 기반 지표의 한계를 보완하고, 보다 견고한 성과 측정 체계를 구축하는 데 기여한다.