인용 지표 공정성 검증과 분수 인용 수의 한계

초록

본 논문은 학문 분야 간 인용 편향을 제거하기 위한 정량적 검증 방법을 제시하고, 최근 제안된 분수 인용 수가 실제로 편향을 억제하는지 평가한다. APS 물리학 논문 데이터를 이용한 실험에서, 분수 인용 수는 분야별 평균 인용 차이를 충분히 보정하지 못하고, 단순히 평균값으로 재스케일링한 지표보다 성능이 떨어짐을 확인하였다.

상세 분석

논문은 먼저 인용 지표의 “공정성”을 정의한다. 여기서 공정성이란, 동일한 논문이 어느 학문 분야에 속하든지 그 지표값이 동일한 확률분포를 보여야 한다는 가정이다. 이를 검증하기 위해 저자들은 두 단계의 선택 과정을 설계하였다. 첫 번째 단계에서는 특정 분야에 속한 논문들을 무작위로 일정 비율(예: 5 %) 추출하고, 두 번째 단계에서는 이들 논문에 대해 검증하고자 하는 인용 지표값을 계산한다. 이후, 기대되는 무편향 분포(각 분야별 논문 비율에 비례)와 실제 관측된 지표값 분포를 카이제곱 검정 또는 빈도 기반 통계량으로 비교한다. 검정 통계량이 임계값 이하이면 해당 지표는 편향이 없다고 판단하고, 초과하면 편향이 존재한다는 결론을 내린다.

이 검증 프레임워크를 실제 데이터에 적용하기 위해 APS(미국물리학회) 저널에 게재된 1985‑2009년 사이의 307 992편 논문을 수집하였다. 각 논문은 저자들이 직접 지정한 PACS 코드(첫 번째 두 자리)로 10개의 광범위한 분야로 분류되었다. 인용 데이터는 Web of Science에서 획득했으며, 인용 논문 전체(자기 인용 포함)와 외부 139개 저널에서 인용된 논문까지 포함해 전체 인용의 약 74 %를 커버하였다.

두 가지 정규화 방법을 비교하였다. 첫 번째는 Leydesdorff와 Opthof가 제안한 “분수 인용 수”로, 인용을 받을 때마다 1/n(인용 논문의 참고문헌 수)만큼 가중한다. 이 방법은 분야별 참고문헌 길이 차이가 인용 차이의 주요 원인이라고 가정한다. 두 번째는 Radicchi et al.이 제안한 “재스케일링 인용 수”로, 각 논문의 원시 인용 수를 해당 분야·연도별 평균 인용 수 c₀으로 나누어 상대 인용 지표 c_f = c / c₀를 만든다.

검증 결과, 재스케일링 인용 수는 각 분야별 논문 비율과 거의 일치하는 분포를 보이며, 카이제곱 통계량이 유의 수준 이하로 나타났다. 반면, 분수 인용 수는 여전히 분야별 차이를 보였으며, 특히 수학·물리·생물 등 참고문헌 수 차이가 큰 분야에서 편향이 크게 남아 있었다. 통계적으로도 분수 인용 수의 검정값은 유의 수준을 크게 초과했으며, 이는 해당 지표가 “공정성”을 만족하지 못함을 의미한다.

또한, 저자들은 공정성 정의가 “각 분야가 과학 발전에 동일한 가치를 가진다”는 전제에 기반함을 명시하고, 다른 정의(예: 분야별 가중치를 다르게 설정)도 가능하나 본 연구에서는 동일 가중치 전제를 사용하였다. 결과적으로, 단순히 인용을 참고문헌 수로 나누는 방식은 분야 간 인용 편향을 충분히 보정하지 못하며, 평균값 기반 재스케일링이 현재로서는 가장 효과적인 방법임을 제시한다.