저널 임팩트 팩터 대안 I3와 상위 10% 논문 지표

초록

본 논문은 전통적인 저널 임팩트 팩터(IF)의 한계를 지적하고, 인용 분포의 비대칭성과 분야 간 차이를 보정하기 위한 두 가지 대안을 제시한다. 첫째는 인용자를 기준으로 한 기사 수준의 정규화이며, 둘째는 비모수 통계에 기반한 상위 10% 혹은 상위 25% 고인용 논문의 비율(I3)이다. 이 지표는 부분계수(fractional counting)를 적용해 인용을 공정하게 배분하고, 통계적 유의성을 검증할 수 있어 IF를 대체할 실용적이고 직관적인 방법으로 평가된다.

상세 분석

논문은 IF가 2년 평균 인용수를 이용해 인용 분포를 평균화하려는 최초 시도였지만, 실제 인용 분포는 강한 오른쪽 꼬리를 가진 비대칭 형태임을 강조한다. 이러한 왜곡은 평균값이 전체 상황을 제대로 반영하지 못하게 만들며, 특히 분야마다 인용 문화가 크게 다르기 때문에 직접적인 비교가 부적절하다. 저자는 두 가지 해결책을 제시한다. 첫 번째는 ‘citing audience’를 기준으로 한 정규화 방식이다. 즉, 각 논문의 인용을 해당 논문을 인용한 논문들의 평균 인용수와 비교함으로써 분야·연도·문헌 유형 차이를 자동으로 보정한다. 두 번째는 비모수적 지표인 I3(Integrated Impact Indicator)를 도입하는데, 이는 논문을 인용 횟수에 따라 순위화하고 상위 10% 혹은 상위 25%에 해당하는 논문의 비율을 계산한다. 여기서 중요한 점은 인용을 ‘부분계수’ 방식으로 나누어 다중공저자 논문이나 다중출처 인용이 과대평가되지 않도록 하는 것이다. 이러한 비모수 지표는 전통적인 평균 기반 IF와 달리 통계적 검정이 가능하도록 설계돼, 두 저널 간 차이가 우연에 의한 것인지, 실제 의미 있는 차이인지를 명확히 판단할 수 있다. 또한, I3는 직관적으로 “전체 논문 중 몇 퍼센트가 고인용에 속하는가”라는 형태이므로 연구자와 정책 입안자 모두가 이해하기 쉽다. 논문은 실증 분석을 통해 I3와 기존 IF 사이의 상관관계를 보여주면서도, 특히 분야 간 비교에서 I3가 더 안정적인 성능을 보임을 입증한다. 마지막으로, 저자는 I3와 같은 비모수 지표가 학술 평가 체계에 도입될 경우, 과도한 저널 중심 평가를 완화하고 개별 논문의 질적 가치를 보다 정확히 반영할 수 있다고 주장한다.