공공연구기관을 위한 연구성과 선택 지원시스템

초록

본 논문은 이탈리아 대학의 2004‑2006년 논문 데이터를 활용해, 국가 연구 평가에서 제출할 최우수 연구성과를 객관적으로 선정하도록 돕는 정량적 의사결정지원시스템(DSS)을 제안한다. 피어리뷰의 주관성 문제를 보완하기 위해 논문 인용수와 저널 임팩트 팩터를 기준으로 분야별 정규화 지표를 산출하고, 이를 통해 각 기관이 가장 높은 품질의 논문을 선택하도록 지원한다. 결과는 기존 선택 방식이 다수 기관에서 비효율적이었음을 보여주며, 기관 차원의 공정한 평가와 국가 차원의 자금 배분 효율성을 동시에 향상시킬 수 있음을 시사한다.

상세 분석

이 연구는 국가 차원의 연구 평가가 점차 확대되는 현황에서, 피어리뷰 기반 평가가 내포한 ‘전문가 선택’과 ‘성과 선택’ 단계의 주관성을 비판적으로 검토한다. 특히, 평가 대상 논문을 제한된 샘플로 추출하는 과정에서 발생하는 선택 편향은 평가 결과와 연계된 재정 지원을 왜곡시킬 위험이 크다. 저자들은 이러한 문제를 해결하기 위해 ‘정량적·객관적’인 bibliometric 지표를 활용한 의사결정지원시스템(DSS)을 설계하였다. 시스템은 Web of Science에 등재된 논문을 전산적으로 수집하고, 각 논문의 인용 횟수와 게재 저널의 임팩트 팩터를 이용해 분야별 평균·중위값과 비교한 정규화 점수를 산출한다. 정규화 점수는 0에서 1 사이의 값으로 변환되어, 동일 분야 내에서 상대적 품질을 직관적으로 파악할 수 있게 한다. 이후 기관별로 제출 가능한 논문 수(연구인력 대비 25 % 등)와 정규화 점수를 결합해, 가장 높은 점수를 받은 논문을 자동으로 선정하도록 알고리즘을 구현한다.

실증 분석에서는 이탈리아 82개 대학의 ‘hard science’ 분야(수학·컴퓨터 과학, 물리학, 화학, 생명과학 등) 논문을 대상으로 적용하였다. 결과는 다수 대학이 기존 자체 선택 과정에서 평균 이하의 임팩트 팩터를 가진 논문을 제출했으며, 특히 농업·수의학, 산업·정보공학, 수학·컴퓨터 과학 분야에서 30 % 이상이 중위값 이하의 논문을 선택한 것으로 나타났다. 이는 기존 선택 방식이 학술적 품질을 정확히 반영하지 못함을 명확히 보여준다.

저자들은 또한 bibliometric 지표의 한계—예를 들어, 임팩트 팩터가 개별 논문의 질을 완벽히 대변하지 못하고, 인용이 부정적 평가에 의한 경우도 존재한다는 점—을 인정하면서도, 대규모 데이터베이스 기반의 정량적 평가가 피어리뷰의 보완적 도구로서 충분히 가치가 있음을 강조한다. 특히, 비용·시간 효율성, 국제 비교 가능성, 그리고 전체 연구 생산물에 대한 포괄적 평가가 가능하다는 점에서 정책 입안자와 대학 경영진 모두에게 실용적인 의사결정 도구가 될 수 있다.