분수계산이 임팩트 팩터에 미치는 영향 분야별 인용 잠재력 정규화

초록

이 논문은 전통적인 ISI 임팩트 팩터가 평균값 사용과 분야 간 인용 행태 차이로 인한 비교 불가능성이라는 문제점을 지적한다. 저자는 인용을 전부 1점이 아닌, 인용 논문의 참고문헌 수에 따라 나누어 ‘분수 인용’으로 계산하면 인용 출처의 차이를 보정할 수 있다고 주장한다. 2008년 데이터를 이용해 13개 과학 분야별 분수계산 임팩트 팩터를 산출하고, 정규화 후 분야 간 평균 차이가 통계적으로 유의하지 않음을 확인한다. 그러나 이러한 정규화가 분야 구분을 위한 신뢰할 만한 도구가 되지는 못한다는 결론을 제시한다.

상세 분석

본 연구는 기존 임팩트 팩터(IF)가 ‘평균’이라는 통계량을 사용함으로써 극단값에 민감하고, 분야별 인용 관행 차이 때문에 직접적인 비교가 어려운 점을 비판한다. 저자는 인용을 ‘전부 1점’으로 취급하는 전통적 방식 대신, 각 인용을 해당 논문의 참고문헌 수(또는 인용 가능한 출처 수)로 나누어 가중치를 부여하는 ‘분수 인용’ 방식을 제안한다. 이 접근법은 인용을 제공한 출처의 ‘인용 잠재력’을 정규화함으로써, 예를 들어 생물학 분야처럼 참고문헌이 많아 인용이 빈번한 분야와 수학처럼 적은 분야 사이의 구조적 차이를 보정한다.

연구 방법으로는 2008년 ISI 웹오브사이언스에 등재된 저널들을 대상으로, 각 논문의 인용을 해당 논문의 참고문헌 수로 나눈 후, 이를 저널별 연간 인용 총합에 합산하여 분수계산 IF를 산출하였다. 또한, 미국 과학·공학 지표(Science and Engineering Indicators)에서 정의한 13개 과학 분야에 대해 평균 분수 IF를 구하고, ANOVA와 사후 검정을 통해 분야 간 차이가 통계적으로 유의한지 검증하였다. 결과는 정규화 이전에는 분야 간 평균 IF 차이가 크게 나타났지만, 분수 인용으로 재계산한 후에는 평균 차이가 통계적으로 유의하지 않음이 확인되었다. 이는 인용 행동의 구조적 차이가 분수 인용을 통해 효과적으로 억제된다는 것을 의미한다.

하지만 저자는 몇 가지 한계점을 지적한다. 첫째, 분수 인용은 참고문헌 수가 정확히 인용 ‘가중치’를 반영한다는 전제에 의존한다. 실제로 논문의 인용 목적(비판, 배경 설명 등)과 인용된 문헌의 질적 차이는 반영되지 않는다. 둘째, 분야 구분을 위한 ‘분류 도구’로서의 신뢰성은 낮다. 정규화 후에도 분야별 특성(연구 주제, 발표 문화 등)은 여전히 존재하며, 분수 IF만으로는 이러한 복합적 차이를 포착하기 어렵다. 셋째, 데이터베이스의 커버리지와 인용 누락 문제는 여전히 존재한다.

결론적으로, 분수 인용은 IF의 분야 간 비교 가능성을 높이는 유용한 정규화 수단이 될 수 있지만, 이를 단독으로 분야 구분이나 연구 성과 평가에 활용하기에는 한계가 있다. 향후 연구에서는 인용의 질적 측면을 반영하는 가중치(예: 인용된 논문의 영향력, 피인용 횟수 등)와 결합하거나, 다변량 통계 모델을 적용해 보다 정교한 정규화 방안을 모색할 필요가 있다.