이탈리아 최초 국가 연구 평가와 서지계량 분석

2003년 12월, 영국의 첫 연구 평가 17년 뒤 이탈리아는 ‘연례 연구 평가(VTR)’라는 국가 차원의 연구 성과 평가 제도를 도입했다. VTR는 20개 학문 분야·102개 연구기관(대학·공공·민간)에서 2001‑2003년 3년간 생산된 18 500개의 연구성과를 대상으로, 6 661명의 국내외 전문가(외국인 1 465명)에게 피어리뷰를 의뢰하였다. 평가 비용은 355만 유로, 기간은 18개월에 달했다. 기존의 입력·절차 중심 평가에서 벗어나, 실제 산출물의 질을 사후적으로 평가한다는 점에서 이탈리아 연구 평가 체계의 문화적 전환을 의미한다. 피어리뷰는 각 성과를 ‘우수·우수함·수용·제한’ 네 단계로 구분하고, 이를 1.0·0.8·0.6·0.2 점수로 환산해 구조별 평균점수를 산출했다. 평가 결과는 분야별·규모별(대형·중형·소형) 순위로 공개돼, 투명성과 경쟁을 촉진하였다. 본 논문은 VTR에서 얻은 피어리뷰 점수와 Thomson Reuters(현재 Web of Science) 데이터베이스에 등재된 논문에 대한 서지계량 지표를 비교·분석한다. 서지계량 지표는 (1) 논문 인용수(article citation rating), (2) 저널 임팩트 팩터(journal citation rating, 2년 평균 IF), (3) h‑index를 포함한다. 인용 데이터는 2006년 6월까지 수집했으며, 평균 인용 창은 4년(2.5‑5.5년)이다. 분석 대상은 10개 주요 분야(수학·컴퓨터(MCS), 물리(PHY), 화학(CHE), 지구과학(EAS), 생물(BIO), 의학(MED), 농·수의학(AVM), 시민공학·건축(CEA), 산업·정보공학(IIE), 경제·통계(ECS))이며, 인터디서플리너리 6개와 서적·예술·법·사회과학 등은 제외했다. 각 분야별 TR 커버리지는 70‑90%에 달했지만, CEA와 ECS는 각각 45%와 54%로 낮았다. 통계적으로는 피어리뷰 평균점수와 평균 인용수·IF·h‑index 사이에 양의 상관관계가 존재함을 확인했다. 물리학과 의학은 특히 강한 상관계수(≈0.7)를 보였으며, 이는 해당 분야가 국제 저널 중심이며 인용이 활발함을 반영한다. 반면 CEA와 ECS는 저널 외 출판물(책·챕터) 비중이 높아 인용 데이터가 제한적이었고, 상관이 약하거나 유의하지 않았다. 또한, ‘소유도(ownership)’가 낮을수록(즉, 다기관 협업이 많을수록) 인용지표와 피어리뷰 점수의 일치도가 높았다. 이는 국제 공동연구가 질적·양적 평가 모두에 긍정적 영향을 미친다는 점을 시사한다. h‑index는 대규모 논문 집합에서 생산성과 영향력을 동시에 포착했지만, 분야별 논문 수와 인용 창 차이로 절대값 비교에 한계가 있다. 결론적으로 피어리뷰와 서지계량은 서로 독립적인 변수가 아니며, 상호 보완적인 관계에 있다. 따라서 향후 이탈리아 및 다른 국가의 연구 평가에서는 전통적인 피어리뷰를 유지하면서, 인용 기반 지표를 보조적으로 도입해 평가 비용을 절감하고 평균 연구 성과까지 포괄하는 보다 효율적인 평가 체계를 구축할 것을 제안한다.