인재 평가를 위한 Bibliometrics 활용 가이드

초록

이 논문은 인사 결정에서 흔히 오용되는 인용·다운로드 수와 같은 계량 지표를 올바르게 적용하기 위한 원칙과 실무적 체크리스트를 제시한다. 비슷한 배경을 가진 후보자를 비교할 때 언제, 어떻게 계량 지표를 보조적으로 활용할 수 있는지 구체적인 ‘규칙’을 제공한다.

상세 분석

본 논문은 Bibliometrics, 즉 인용 횟수와 다운로드 횟수 등 정량적 지표가 인재 평가에 미치는 영향을 체계적으로 검토한다. 먼저, 계량 지표가 “가시성(visibility)”과 “영향력(impact)”을 측정하려는 시도임을 인정하면서도, 이러한 지표가 연구 분야, 출판 문화, 데이터베이스 커버리지 등에 따라 크게 편향될 수 있음을 강조한다. 예를 들어, 인문·사회과학 분야는 서지 데이터베이스에 대한 포괄성이 낮아 인용 수가 과소평가되는 반면, 물리·생명과학 분야는 대형 저널 중심의 인용 네트워크가 형성돼 상대적으로 높은 인용 수를 보인다. 또한, 오픈액세스(Open Access) 논문의 경우 다운로드 수가 높은데, 이는 실제 학문적 영향력과는 별개의 ‘관심도’ 지표가 될 수 있다.

논문은 이러한 편향을 보정하기 위한 두 가지 핵심 원칙을 제시한다. 첫째, “동일 분야·동일 경력 단계”라는 비교 전제 조건을 반드시 충족해야 한다. 동일 학문 분야 내에서도 세부 전공에 따라 인용 문화가 다르므로, 가능한 한 세분화된 분야 구분을 적용한다. 둘째, “시간 보정(time normalization)”이다. 최근에 발표된 논문은 인용 축적 기간이 짧아 절대 인용 수가 낮을 수 있으므로, 연간 평균 인용률이나 ‘인용 성장률’ 등을 활용해 시간적 차이를 보정한다.

다음으로, 논문은 실무 적용을 위한 구체적인 ‘규칙’ 7가지를 제시한다. 1) 후보자의 전체 논문 수와 평균 인용 수를 동시에 검토한다. 2) 핵심 논문(Top‑10% 혹은 Top‑20% 저널)의 인용 비중을 확인한다. 3) 공동 저자 수와 저자 순서를 고려해 개인 기여도를 추정한다. 4) 자기 인용(self‑citation) 비율을 체크해 과도한 자기 인용을 배제한다. 5) 다운로드·뷰 수는 초기 관심도 지표로 활용하되, 인용 전환율을 함께 분석한다. 6) 연구 자금 수주 실적과 특허·산학협력 등 비전통적 산출물과의 연계성을 검토한다. 7) 정성적 평가(추천서, 인터뷰, 연구 계획)와 정량적 지표를 가중 평균 방식으로 통합한다.

마지막으로, 저자는 계량 지표가 “보조 도구”일 뿐이며, 최종 의사결정은 다차원적인 평가 체계에 기반해야 함을 재차 강조한다. 특히, 혁신적이지만 아직 인용이 적은 ‘전환점 연구(transitional research)’나, 사회적·정책적 영향을 미치는 ‘비학술적 산출물’은 기존 지표에 의해 과소평가될 위험이 있다. 따라서 인사 담당자는 이러한 한계를 인식하고, 필요 시 분야 전문가의 정성적 판단을 보완적으로 활용해야 한다.