인용·참고문헌 수 기반 성과지표의 보편성

초록

본 연구는 개별 논문의 인용 횟수와 참고문헌 수를 이용한 두 가지 상대적 지표가 다양한 학문 분야와 연도에 걸쳐 로그정규분포를 따르는 보편성을 보임을 실증한다. 단일 기관과 arXiv 데이터에서 확인했으며, 평균 로그값을 이용한 비교가 장기간 인용 그래프 없이도 가능함을 제시한다.

상세 분석

논문은 먼저 기존 연구(Radicchi et al., 2008)에서 제시된 인용 기반 상대지표 c_f = c/c₀의 보편성을 검증한다. 여기서 c 는 논문의 인용 횟수, c₀ 는 동일 연도·동일 분야 논문의 평균 인용수이다. 저자들은 c_f 외에 새로운 지표 c_r = (c/r)/⟨c/r⟩을 도입한다. r 은 해당 논문의 참고문헌 수이며, ⟨c/r⟩은 같은 집합 S (예: 동일 학부·연도) 내 논문들의 c/r 평균이다. c_r 은 인용과 참고문헌을 동시에 고려함으로써 전 세계 인용 데이터베이스 접근 없이도 분야 간 비교가 가능하도록 설계되었다.

데이터는 두 부분으로 나뉜다. 첫 번째는 1997‑2007년 사이에 Imperial College London 소속 연구자가 저술한 12 089편 논문 중 인용·참고문헌이 모두 양수인 10 800편을 대상으로 한다. 논문은 학부(자연과학·의학·공학)와 연도별로 집합 S 를 구성하고, 각 S 내에서 c_f 와 c_r 의 분포를 분석한다. 두 번째는 arXiv에 제출된 논문을 서브아카이브와 연도별로 구분한 데이터셋이다.

분석 결과, c_f 와 c_r 의 로그값은 거의 정상분포를 보이며, 분산 σ² 는 약 1.3 ± 0.2 로 일관된다. 이는 Radicchi 등(2008)이 보고한 분야·연도 무관한 보편적 분산과 일치한다. 특히 c_r 은 참고문헌 수가 많은 리뷰 논문을 자연스럽게 페널티화하여, 인용만을 기준으로 할 때 발생할 수 있는 과대평가를 억제한다.

하지만 저인용 논문(특히 평균 인용수의 10 % 이하)에서는 로그정규모형이 크게 벗어나며, 이는 저인용 논문의 인용 메커니즘이 고인용 논문과 다름을 시사한다. 또한, 인용이 전혀 없는 논문은 로그 변환이 불가능해 분석에서 제외되었으며, 이는 전체 인용 구조를 완전히 포착하지 못한다는 한계로 언급된다.

통계적 검증으로는 χ² 적합도 검정이 수행되었으며, 대부분의 경우 p값이 0.05보다 작아 모델이 충분히 데이터를 설명한다는 결론을 내렸다. 다만, 극단적인 고인용 논문과 저인용 논문에서 잔차가 커지는 경향이 관찰되었다.

연구는 로그값 평균을 이용한 비교가 순위 기반 방법보다 계산 비용이 낮고, 장기 인용 누적을 기다릴 필요가 없다는 실용적 장점을 강조한다. 따라서 기관 내부 평가, 연구비 배분, 혹은 학술지 영향력 측정 등에 적용 가능성이 높다.