VQR 평가의 방법론적 결함과 순위 왜곡 분석

초록

본 논문은 이탈리아 2004‑2010년 VQR(Research Quality Evaluation)의 평가 설계가 갖는 구조적 문제점을 진단하고, 제한된 논문 선택·평가 방식이 대학 순위에 초래하는 왜곡을 정량적으로 측정한다. 저자들은 (1) 각 교수당 3편만 제출하도록 한 제약을 가정하고, VQR 점수 체계에 따라 최적 선택 논문을 시뮬레이션한 ‘VQR 순위’를 만든다. (2) 보다 적절한 서지계량 지표(예: 논문당 평균 인용수, 정규화된 영향력)로 동일 데이터를 재평가한 ‘대안 순위’와 비교한다. (3) 마지막으로 전체 WoS 논문을 포함한 전면 서지계량 평가와도 비교해 선택 제한이 초래하는 점수 손실과 순위 변동을 제시한다. 결과는 제한된 선택이 평균 23‑32%의 점수 손실을 야기하고, 대학 순위가 크게 뒤바뀔 수 있음을 보여준다.

상세 분석

본 연구는 VQR이 ‘각 교수당 최대 3편’이라는 인위적 제한을 두고, 이 제한된 표본을 기반으로 평가 점수를 산정한다는 점에 주목한다. 저자들은 먼저 모든 교수의 WoS 논문을 수집하고, 각 교수별로 인용수와 분야별 평균 인용을 정규화한 지표를 활용해 ‘가장 우수한 3편’을 선정한다. 이때 VQR에서 정의한 A(1점), B(0.8점), C(0.5점), D(0점) 등 4단계 등급을 그대로 적용해 가상의 VQR 점수를 계산한다. 이렇게 도출된 점수는 실제 VQR에서 대학별로 보고된 점수와 비교 가능하도록 전체 대학에 합산한다.

다음 단계에서는 동일 논문 집합에 대해 보다 정교한 서지계량 방법을 적용한다. 구체적으로는 ‘Field‑Normalized Citation Impact(FNCI)’와 ‘Citation Percentile’ 등을 이용해 각 논문의 질을 평가하고, 이를 기반으로 3편을 다시 선정한다. 이때 얻어진 점수는 VQR 점수와 차이를 보이며, 특히 인용이 높은 논문이 다수 포함된 분야에서 VQR 점수가 과소평가되는 경향이 뚜렷하다.

세 번째 시뮬레이션은 선택 제한을 완전히 해제하고, 모든 논문을 포함한 전체 생산성을 지표로 대학을 순위 매긴다. 여기서는 논문당 평균 FNCI와 총 인용수를 결합한 복합 점수를 사용한다. 결과는 제한된 3편 선택이 전체 생산성의 23‑32%에 해당하는 점수 손실을 초래한다는 것을 보여준다. 특히, 연구 규모가 큰 대학은 선택 제한으로 인해 상대적으로 더 큰 점수 감소를 겪으며, 이는 순위 변동을 크게 만든다.

통계적으로는 Pearson 상관계수가 VQR 순위와 전체 서지계량 순위 사이에 0.68 정도로 낮게 나타났으며, 상위 10% 대학 중 4~5곳이 순위가 뒤바뀌는 현상이 관찰되었다. 이는 정책 입안자가 VQR 결과를 재정 배분에 직접 활용할 경우, 실제 연구 역량보다 과소평가된 기관에 불리한 재정 배분이 이루어질 위험을 시사한다.

결론적으로, VQR의 설계적 결함—특히 ‘제한된 표본 선택’과 ‘단순 등급 체계’—은 대학 성과를 왜곡하고, 연구 자원의 효율적 배분을 저해한다. 향후 국가 차원의 연구 평가에서는 전체 생산성을 반영하는 서지계량 기반 평가와, 선택 제한을 최소화하는 정책 설계가 필요하다.