통합 임팩트 지표(I3)와 임팩트 팩터(IF)의 비교: 정책적 함의를 가진 새로운 연구 설계

초록

본 논문은 전통적인 평균 기반 임팩트 팩터(IF)의 한계를 지적하고, 논문별 백분위수를 이용해 인용 곡선을 통합하는 ‘통합 임팩트 지표(I3)’를 제안한다. LIS와 다학제 과학 분야의 저널을 대상으로 I3와 IF를 비교·분석한 결과, I3가 저널 규모와 인용 분포 형태를 동시에 반영해 보다 공정한 영향력 평가가 가능함을 보였다.

상세 분석

이 연구는 인용 데이터의 분포가 극도로 비대칭적이라는 점에 주목한다. 기존의 임팩트 팩터는 2년 평균 인용수를 저널당 논문수로 나눈 값으로, 규모가 큰 저널이 평균적으로 낮은 인용을 받아도 높은 IF를 얻을 수 있는 구조적 문제를 내포한다. 저자들은 ‘임팩트는 평균이 아니라 합이다’라는 물리학적 메타포를 도입해, 각 논문의 인용량을 질량(m)·속도(v)로 해석하고, 이를 백분위수(percentile rank)라는 정규화된 척도로 변환한다. 백분위수는 동일 분야·동일 연도에 발표된 모든 논문을 기준으로 계산되며, 낮은 인용 논문도 0~50% 구간에 배치돼 전체 분포를 보존한다.

I3는 각 논문의 백분위수 값을 가중치로 사용해 모든 논문의 백분위수 합을 구한다. 구체적으로 100PR(백분위수 1100) 혹은 6PR(상위 1%, 5%, 10%, 25%, 50%, 하위 50%) 클래스를 정의하고, 각 클래스에 16(또는 1~100)의 가중치를 부여한다. 이렇게 하면 논문의 수(N)와 인용 강도 모두가 반영된 ‘통합 임팩트’가 산출된다. 중요한 점은 이 합계가 가산 가능(additive)하다는 것으로, 국가·기관·학문 분야별로 손쉽게 분해·재조합할 수 있다.

실증 분석에서는 2007‑2008년 발표된 논문을 대상으로 LIS(65저널, 5,737문서)와 다학제 과학(48저널, 24,494문서) 두 분야를 선택했다. 각 논문을 해당 분야·연도·문서 유형별 백분위수로 변환한 뒤, 저널별 I3와 기존 IF를 비교하였다. 예시로 MIS Quarterly와 JASIST를 들었는데, IF는 MIS Quarterly가 2배 이상 높지만, I3는 JASIST가 약 4배 높은 것으로 나타났다. 이는 JASIST가 적은 수의 고인용 논문을 많이 보유하고, 전체 인용 곡선의 ‘꼬리’가 짧아 평균이 낮게 나오지만, 통합 임팩트는 실제 영향력을 더 정확히 반영한다는 점을 시사한다.

통계적으로는 SPSS를 이용해 평균, 합계, 표준오차 등을 산출하고, Pearson·Spearman 상관분석으로 I3와 IF 간의 관계를 검증했다. 또한 Dunn’s test(가족별 오류 보정 포함)을 적용해 저널 간 인용 분포 차이가 유의미한지 비모수 검정을 수행했다. 결과는 I3와 IF 사이에 약한 상관관계(r≈0.38)만 존재함을 보여, 두 지표가 서로 다른 차원을 측정한다는 결론을 뒷받침한다.

정책적 함의 측면에서는, I3가 규모와 품질을 동시에 고려함으로써 연구 성과 평가, 연구비 배분, 학술지 선정 등에 보다 공정한 기준을 제공할 수 있다. 특히 국가·기관 수준에서 ‘총 임팩트’를 비율로 표현하면, 작은 규모의 연구기관도 고품질 논문을 통해 큰 기여를 할 수 있음을 명확히 드러낸다. 이는 현재의 IF 중심 평가 체계가 초래하는 ‘대형 저널 편향’을 완화하고, 다양성과 혁신을 촉진하는 정책 설계에 기여할 수 있다.