영국 연구 평가제도와 서지계량학: 평가 방식 전환의 함의

초록

본 논문은 영국의 연구 평가제도(RAE)가 연구 자금과 명성에 미치는 영향을 검토하고, 기존의 동료심사 중심 체계에서 서지계량학(인용·임팩트 팩터 등) 기반 평가로 전환될 경우 발생할 수 있는 제도적·행동적 부작용을 비판적으로 논의한다.

상세 분석

Silverman은 영국 RAE가 20년 넘게 동료심사를 핵심으로 운영돼 왔으며, 이는 연구 품질을 정성적으로 판단하는 가장 신뢰받는 메커니즘이라고 주장한다. 그러나 최근 정책 논의에서는 인용 횟수, 임팩트 팩터 등 서지계량 지표를 활용해 평가를 자동화하고 비용을 절감하려는 움직임이 나타난다. 저자는 이러한 전환이 가져올 편향을 세 가지 차원에서 지적한다. 첫째, 서지계량은 분야별 인용 문화와 출판 속도 차이를 반영하지 못해 수학·통계와 같이 인용이 적은 분야를 불리하게 만든다. 둘째, “출판 혹은 사라짐”(publish‑or‑perish) 현상이 강화돼 연구자들이 장기적·기초적 연구보다 단기적 인용을 끌어낼 수 있는 주제에 집중하게 된다. 이는 학문의 다양성과 혁신을 저해한다. 셋째, 기관 차원에서는 인용 기반 점수 확보를 위해 신규 교수 채용을 억제하거나, 인용이 높은 외부 연구자와의 협업을 과도하게 추구하는 등 전략적 행동 변화를 촉발한다. 저자는 또한 “전체 대학 수준에서는 서지계량과 동료심사 결과가 높은 상관관계를 보인다”는 주장에 회의적이며, 이는 규모의 효과와 평균화에 의한 오류일 뿐, 부서·개인 수준에서는 심각한 왜곡을 초래할 수 있다고 강조한다. 마지막으로 저자는 서지계량이 완전히 배제될 수는 없지만, 이를 보조 도구로 제한하고 동료심사를 핵심으로 유지해야 한다는 입장을 제시한다.