백분위수의 불확실성과 모호성을 없애는 분수 가중법

초록

본 논문은 기존 백분위수 구간 할당에서 발생하는 경계 모호성·동점 처리 문제를 해결하기 위해 ‘분수 스코어링(fractional scoring)’ 방식을 제안한다. 각 논문을 백분위 구간에 전부 할당하는 것이 아니라, 해당 논문의 순위가 차지하는 구간 비율만큼 가중치를 부여함으로써 전체 논문 집합의 점수 합이 이론적 기대값과 정확히 일치하도록 한다. 실험과 수학적 증명을 통해 불확실성과 모호성이 사라짐을 확인한다.

상세 분석

백분위수는 연구 성과를 비교·평가하는 데 널리 사용되지만, 실제 데이터에서는 순위가 동일한 논문(동점)이나 백분위 구간 경계에 위치한 논문이 발생한다. 전통적인 방법은 이러한 경우를 ‘전부 포함’하거나 ‘전부 제외’하는 이진 할당을 적용한다. 그러나 이 경우 동일한 데이터셋에 대해 서로 다른 결과가 도출될 수 있어 평가의 신뢰성이 떨어진다. 특히, 전체 논문 수가 작거나 특정 구간에 논문이 집중될 때 경계 모호성은 심각해진다.

논문은 이러한 문제를 근본적으로 해결하기 위해 ‘분수 스코어링’ 개념을 도입한다. 구체적으로, N개의 논문이 있을 때 각 논문의 순위 r(1≤r≤N)에 대해 백분위 위치 p = (r‑0.5)/N을 계산한다. p가 속하는 구간이 예를 들어 90‑100 % 구간이라면, 해당 논문은 0.9 ≤ p < 1.0 구간에 속한다. 그러나 p가 구간 경계에 정확히 위치하거나 구간 폭보다 작은 경우, 논문은 해당 구간에 전부 할당되지 않고, 구간 경계와 구간 폭을 이용해 두 인접 구간에 각각 할당될 비율을 구한다. 예를 들어 p = 0.85이면 80‑90 % 구간에 0.5, 90‑100 % 구간에 0.5를 할당한다. 이렇게 하면 모든 논문의 가중치 합은 1이 되며, 구간별 총점은 N × 구간 비율(예: 10 % 구간이면 N × 0.10)과 정확히 일치한다.

수학적으로는 각 구간 i의 기대 점수 E_i = N·w_i (w_i는 구간 폭)이며, 분수 할당을 통해 실제 점수 S_i = ∑k α{k,i} (α_{k,i}는 논문 k가 구간 i에 할당된 비율) 가 E_i와 동일함을 증명한다. 논문은 이 증명을 단계별로 전개하고, 동점 처리 시 동일한 순위에 대해 동일한 비율을 부여함으로써 공정성을 유지한다.

실증 분석에서는 과학·사회과학 분야의 실제 인용 데이터셋을 사용해 기존 이진 할당과 분수 스코어링을 비교한다. 결과는 이진 할당이 구간 경계 근처에서 과대·과소 평가를 일으키는 반면, 분수 스코어링은 평균 오차를 0에 가깝게 만들고, 전체 점수 합이 이론적 기대값과 차이가 없음을 보여준다. 또한, 작은 샘플(예: N < 50)에서도 안정적인 결과를 제공한다는 점이 강조된다.

이러한 접근은 연구 평가뿐 아니라 정책 결정, 대학 순위 산정 등 다양한 분야에서 백분위 기반 지표를 사용할 때 발생할 수 있는 불확실성을 원천적으로 제거한다는 점에서 의의가 크다.