피어리뷰와 서지계량학 순위 비교: 이탈리아 대학 평가 사례

초록

본 논문은 이탈리아 최초의 연구 평가인 VTR(2006)에서 얻은 대학별 피어리뷰 순위와, 동일 기간(2001‑2003) 논문 데이터를 활용한 서지계량학 시뮬레이션 결과를 비교한다. 피어리뷰는 제출된 소수의 우수 논문에만 의존해 제한된 정보와 선택 편향을 보이는 반면, 서지계량학은 전체 출판물을 인용지표(AII)로 평가해 생산성까지 반영한다. 두 방법은 우수성 순위에서 큰 차이를 보이며, 서지계량학이 보다 견고하고 비용 효율적인 평가 수단임을 시사한다.

상세 분석

본 연구는 이탈리아 정부가 2003년에 시행한 VTR(Triennial Research Evaluation)에서 102개 연구기관(대학 77개 포함)이 제출한 약 18,000건의 연구산출물을 4단계(우수, 양호, 보통, 제한)로 평가한 피어리뷰 결과와, 동일 기간에 WoS 기반 ORP 데이터베이스에 등재된 84,289건의 논문을 대상으로 서지계량학적 지표를 적용한 시뮬레이션을 정량적으로 비교한다. 피어리뷰는 각 대학이 연구인력 1인당 4편의 산출물을 자율 선택해 제출하도록 설계돼, 실제 전체 생산성(논문 수)과는 무관하게 선택된 논문의 질만을 반영한다. 이 과정에서 ‘선택 효율성’과 ‘제출 편향’이 발생해, 실제 우수 논문 비중이 낮은 대학도 높은 순위를 차지하거나, 반대로 우수 논문이 많아도 제출이 미흡하면 순위가 하락한다는 구조적 한계가 있다.

반면 서지계량학은 모든 논문을 포함하고, 각 논문의 인용수를 동일 연도·분야 평균(중위수)으로 표준화한 Article Impact Index(AII)를 사용한다. 연구자는 AII 상위 10%를 ‘우수 논문’으로 정의하고, 각 대학·학문 분야별 우수 논문 수(N_e)와 전체 연구인력(RS)을 이용해 ‘우수성 지표’ I_i,u = (N_e_i,u / N_e_u) / (RS_i,u / RS_u) 를 산출한다. 이 지표는 단순히 우수 논문의 절대 수가 아니라, 인력 대비 효율성을 반영하므로 생산성까지 평가한다.

두 방법의 순위 비교 결과, 피어리뷰는 ‘우수성’에만 초점을 맞추어 전체 생산성을 무시하는 경향이 뚜렷했으며, 특히 의학·생명과학 분야에서 피어리뷰 순위와 서지계량학 순위 간 격차가 크게 나타났다. 또한 피어리뷰 순위는 제출된 논문의 비율이 전체 논문의 9% 미만에 불과한 점을 고려하면, 전체 연구 성과를 대표한다고 보기 어렵다. 서지계량학은 전체 논문을 활용함으로써 보다 안정적인 순위 변동성을 보였으며, 비용·시간 측면에서도 피어리뷰 대비 현저히 효율적이었다.

결론적으로, 본 연구는 국가 차원의 연구 평가에서 전통적인 피어리뷰가 갖는 구조적 한계와 선택 편향을 서지계량학이 효과적으로 보완한다는 점을 실증적으로 입증한다. 특히 ‘우수성’뿐 아니라 ‘생산성’까지 동시에 측정할 수 있는 서지계량학적 접근이 정책 입안자에게 보다 신뢰성 있는 자원 배분 근거를 제공한다는 점을 강조한다.