인용 통계의 함정과 올바른 연구 평가

초록

이 논문은 연구 평가에 인용 통계와 같은 계량적 지표를 남용하는 현상을 비판하고, 단순하고 객관적이라는 착각이 어떻게 과학적 판단을 왜곡하는지 설명한다. 저자는 인용 데이터가 동료 평가를 대체할 수 없으며, 오히려 잘못된 인센티브와 불공정한 평가를 초래할 위험이 있음을 강조한다.

상세 분석

본 논문은 인용 통계가 “단순하고 객관적”이라는 신화가 어떻게 형성되었는지를 역사적·사회학적 맥락에서 탐구한다. 저자는 20세기 후반부터 과학 정책과 대학 평가에서 계량적 지표가 강조되기 시작했으며, 특히 ‘핵심지표(impact factor)’와 ‘h‑index’가 연구자의 가치를 판단하는 주요 도구로 자리 잡았다고 지적한다. 그러나 이러한 지표는 본질적으로 논문의 인용 횟수를 집계한 통계에 불과하며, 인용 자체가 연구의 질이나 혁신성을 보장하지 않는다는 점을 강조한다. 인용은 종종 ‘인용 관행’, ‘자기 인용’, ‘인용 군집’ 등 사회적·문화적 요인에 크게 좌우되며, 특정 분야나 언어, 지역에 편중되는 경향이 있다. 예를 들어, 영어권 저널에 게재된 논문이 비영어권 저널보다 더 많이 인용되는 구조적 편향이 존재한다. 또한, 저자는 인용 통계가 연구자에게 ‘인용을 위한 인용’(citation stacking)이나 ‘과도한 자기 인용’ 같은 비윤리적 행태를 유도할 수 있음을 경고한다.

통계적 지표가 동료 평가를 대체하려는 시도는 ‘정량적 객관성’이라는 환상을 제공하지만, 실제로는 평가 과정에서 인간의 판단을 완전히 배제할 수 없으며, 오히려 평가자의 편견을 숨기는 도구가 될 위험이 있다. 저자는 동료 평가가 갖는 질적 판단, 즉 연구 방법론의 타당성, 가설의 혁신성, 결과의 재현 가능성 등을 무시하고 인용 수치만으로 연구 가치를 판단하는 것은 과학적 진보에 역행한다고 주장한다.

또한, 정책적 차원에서 인용 통계에 과도하게 의존하면 연구 자금 배분, 학과 설립, 교수 승진 등에서 구조적 불균형을 초래한다. 저자는 이러한 문제를 해결하기 위해 ‘다중 지표 접근법’을 제안한다. 즉, 인용 통계는 하나의 보조적 정보로 활용하되, 동료 평가, 연구의 사회적·경제적 영향, 교육적 기여 등 다양한 차원을 함께 고려해야 한다는 것이다. 마지막으로, 저자는 과학 공동체가 계량적 지표의 한계를 명확히 인식하고, 투명하고 공정한 평가 문화를 구축하기 위한 지속적인 논의와 교육이 필요하다고 강조한다.