학과 h‑지수를 활용한 영국 연구 우수성 프레임워크 예측

초록

본 논문은 2008년 영국 연구 평가(RAE) 결과와 두 가지 서지계량 지표—학과 h‑지수와 정규화 인용 영향(NCI)—를 비교한다. 분석 결과, 학과 h‑지수가 RAE 점수와 가장 높은 상관관계를 보였으며, 이를 바탕으로 2008‑2013년 기간의 REF 2014 결과를 예측한다. 저자들은 향후 REF 결과와 비교해 예측 정확성을 검증할 계획이다.

상세 분석

이 연구는 영국 고등교육기관의 연구 성과를 평가하는 RAE(2008)와 차기 REF(2014) 사이의 연관성을 서지계량학적 지표를 통해 탐색한다. 두 지표는 각각 학과 h‑지수와 정규화 인용 영향(NCI)이며, 전자는 특정 학과가 일정 기간(2001‑2007) 내에 발표한 논문 중 최소 h 번 이상 인용된 논문의 수를 의미한다. NCI는 Thomson Reuters Research Analytics가 제공하는 정규화된 인용 지표로, 분야별 평균 인용률에 대비한 상대적 영향을 측정한다.

데이터 수집은 Scopus 데이터베이스를 기반으로 하며, 영국 내 기관에 귀속된 논문만을 선택한다. 학과 h‑지수는 ‘즉시 h‑지수(h2008)’와 ‘지연 h‑지수(h2009, h2010 등)’로 구분해 시간 지연 효과를 검증한다. NCI는 RAE 2008에 제출된 논문만을 대상으로 평균값을 산출하였다.

통계적 분석은 Pearson 상관계수와 Spearman 순위 상관계수를 이용해 각 지표와 RAE 점수(가중치 s, 수정 가중치 s′, 출력 전용 가중치 s_output) 간의 연관성을 평가한다. 결과는 학과 h‑지수가 모든 경우에서 가장 높은 상관값(최대 0.78)을 기록했으며, NCI는 0.5 이하로 낮은 상관성을 보였다. 특히 h2008와 s 사이의 상관계수가 가장 강했으며, 이는 ‘즉시 h‑지수’가 RAE 평가 시점 직전까지의 연구 성과를 잘 반영한다는 것을 시사한다.

또한, h‑지수는 강도(strength)와 규모(size) 양면을 동시에 포착한다는 점에서, 단순 인용 수나 평균 인용률보다 연구 그룹의 전체적인 역량을 더 정확히 나타낸다. 반면 NCI는 정규화 과정에서 분야별 인용 패턴 차이를 보정하지만, 이는 오히려 실제 연구 질을 평가하는 데는 한계가 있다.

연구자는 이러한 상관 분석을 바탕으로 2008‑2013년 기간의 학과 h‑지수를 계산하고, 이를 REF 2014의 예상 순위에 적용하였다. 예측 결과는 arXiv에 사전 공개되었으며, REF 결과 발표 후 실제 순위와의 차이를 통해 모델의 신뢰성을 검증할 계획이다.

한계점으로는 Scopus 데이터의 기관 명칭 불일치로 인해 일부 대학(예: Open University)의 h‑지수를 정확히 산출하지 못한 점, 그리고 RAE/REF 제출 논문과 전체 출판물 간의 겹침 정도가 완전하지 않을 수 있다는 점을 들 수 있다. 또한, h‑지수는 시간에 따라 누적되는 특성상 최신 연구 동향을 반영하는 데는 지연이 발생한다는 점도 고려해야 한다.

전반적으로 이 논문은 학과 h‑지수가 전통적인 동료 평가와 높은 일치성을 보이며, 향후 연구 평가 정책에 서지계량 지표를 보조적으로 활용할 가능성을 제시한다.