인용 지표 활용 시 주의점 연구 학술지 평가의 함정

초록

본 논문은 인용 지표를 연구 및 학술지 평가에 적용할 때 발생할 수 있는 여러 함정을 짚는다. 논문 연령, 자기인용 비율, 분야별 인용 패턴의 차이 등은 동일한 분야 내에서도 균일하지 않으며, 분야 구분 자체가 모호하다. 또한 기관·국가별 연구 프로필과 인용 데이터베이스와의 매칭 정도가 평가 결과에 큰 영향을 미친다. 비ISI 학술지는 영어권 전문지와 달리 전이학문적 역할을 수행하며, ‘외부 인용 영향력 지수’를 통해 그 가치를 측정할 수 있음을 Science and Public Policy 사례를 통해 보여준다.

상세 분석

이 논문은 인용 지표가 연구 성과와 학술지 품질을 객관적으로 평가한다는 전제에 근본적인 문제점을 제기한다. 첫째, 논문의 ‘노화’ 현상—즉, 출판된 지 시간이 지남에 따라 인용 횟수가 급격히 증가하거나 감소하는 패턴—은 분야마다 크게 다르다. 물리학과 같은 빠르게 순환하는 분야는 짧은 시간 내에 인용이 집중되는 반면, 인문학이나 사회과학은 장기적인 누적 인용이 주를 이룬다. 이러한 차이를 무시하고 동일한 인용 윈도우(예: 2년)를 적용하면 특정 분야가 과소평가되고, 다른 분야가 과대평가된다.

둘째, 자기인용 비율은 학술지와 연구자의 전략적 행동을 반영한다. 일부 저널은 편집 정책이나 특수한 연구 네트워크에 의해 자기인용 비율이 높아지며, 이는 인용 지표를 인위적으로 부풀리는 효과를 낳는다. 논문은 자기인용을 전체 인용에서 분리해 분석할 필요성을 강조한다.

셋째, ‘전문 분야 내 동질성’ 가정이 잘못되었다는 점이다. 같은 학문 분야라도 세부 전공이나 연구 주제에 따라 인용 문화가 크게 다르다. 예를 들어, 생물학 내에서도 분자생물학과 생태학은 논문 길이, 공동 저자 수, 인용 속도에서 현격한 차이를 보인다. 따라서 분야를 ‘균일한 블록’으로 취급하는 기존의 정량 평가 모델은 현실을 왜곡한다.

넷째, 분야 구분 자체가 흐릿하고, 연구자와 기관이 다중 분야에 걸쳐 활동한다는 점을 간과한다. 연구자 프로필이 다학제적일 경우, 전통적인 분야 기반 인용 데이터베이스와의 매칭이 낮아져 실제 영향력이 과소평가될 위험이 있다. 특히 국가별 연구 정책이 특정 분야에 편중될 경우, 국제 인용 지표와의 불일치가 나타난다.

다섯째, 비ISI(Science Citation Index) 저널의 위치를 재조명한다. 이들 저널은 주류 영어권 저널에 비해 인용 네트워크에 직접 포함되지 않지만, ‘전이학문적’(Mode‑2) 역할을 수행한다. 즉, 정책·사회·산업과 연결된 연구 결과를 전달하는 매개체로서 중요한 기능을 한다. 논문은 이러한 저널의 가치를 측정하기 위해 ‘외부 인용 영향력 지수’를 제안한다. 이는 ISI에 등재되지 않은 저널이 다른 ISI 저널에 의해 인용된 횟수를 기반으로 하여, 해당 저널의 실질적 영향력을 정량화한다.

마지막으로, ‘Science and Public Policy’라는 사례를 통해 비ISI 저널도 높은 외부 인용을 기록할 수 있음을 입증한다. 이 저널은 정책·과학 간 교류를 촉진하는 역할을 하며, ISI 저널에 비해 자체 인용은 적지만 외부 인용 비중이 상당히 높다. 따라서 전통적인 IF(Impact Factor)만으로는 이들의 학술적 가치를 정확히 평가할 수 없으며, 제안된 외부 인용 지표가 보완적 역할을 할 수 있음을 시사한다.

전반적으로 논문은 인용 지표 활용 시 ‘시간적·구조적·문화적 변인’을 모두 고려해야 하며, 단일 지표에 의존하는 평가 체계는 근본적인 왜곡을 초래한다는 결론을 내린다.