The different responses of universities to introduction of performance-based research funding

📝 Abstract

Governments and organizations design performance-based research funding systems (PBFRS) for strategic aims, such as to selectively allocate scarce resources and stimulate research efficiency. In this work we analyze the relative change in research productivity of Italian universities after the introduction of such a system, featuring financial and reputational incentives. Using a bibliometric approach, we compare the relative research performance of universities before and after introduction of PBFRS, at the overall, discipline and field levels. The findings show convergence in the universities’ performance, due above all to the remarkable improvement of the lowest performers. Geographically, the universities of the south (versus central and northern Italy) achieved the greatest improvement in relative performance. The methodology, and results, should be of use to university management and policy-makers.

💡 Analysis

Governments and organizations design performance-based research funding systems (PBFRS) for strategic aims, such as to selectively allocate scarce resources and stimulate research efficiency. In this work we analyze the relative change in research productivity of Italian universities after the introduction of such a system, featuring financial and reputational incentives. Using a bibliometric approach, we compare the relative research performance of universities before and after introduction of PBFRS, at the overall, discipline and field levels. The findings show convergence in the universities’ performance, due above all to the remarkable improvement of the lowest performers. Geographically, the universities of the south (versus central and northern Italy) achieved the greatest improvement in relative performance. The methodology, and results, should be of use to university management and policy-makers.

📄 Content

정부와 각종 조직은 전략적 목표를 달성하기 위해 **성과 기반 연구 자금 지원 시스템(PBFRS, Performance‑Based Research Funding System)**을 설계하고 운영한다. 이러한 시스템은 제한된 연구 자원을 효율적으로 배분하고, 연구 활동의 생산성을 높이며, 궁극적으로 국가·사회 전체의 과학·기술 역량을 강화하는 것을 목표로 한다.

본 연구에서는 이탈리아의 대학들을 대상으로, 재정적 인센티브와 평판적 인센티브라는 두 가지 주요 동기를 동시에 제공하는 PBFRS가 도입된 이후 대학들의 연구 생산성이 어떻게 변했는지를 정량적으로 분석한다. 구체적으로는 다음과 같은 절차를 거쳤다.

1. 서지계량학적(bibliometric) 접근법을 채택하여, 각 대학이 발표한 학술 논문의 수, 인용 횟수, 국제 공동연구 비중 등 다양한 지표를 수집하고 정규화하였다.
2. 수집된 데이터를 바탕으로 **PBFRS 도입 전(예: 2005‑2009년)과 도입 후(예: 2010‑2014년)**의 상대적 연구 성과를 비교하였다. 비교는 세 가지 수준에서 수행되었다.
   • 전체 수준: 모든 학문 분야를 포괄한 대학 전체의 평균 성과 변화.
   • 학문 분야 수준: 인문·사회과학, 자연과학·공학, 보건·의학 등 큰 범주별 성과 차이.
   • 세부 분야 수준: 물리학, 화학, 경제학, 법학 등 보다 구체적인 전공별 성과.

분석 결과는 다음과 같은 주요 특징을 보여준다.

• 성과 수렴(convergence) 현상이 뚜렷하게 나타났다. 즉, 이전에 상대적으로 낮은 성과를 보였던 대학들이 크게 향상된 반면, 이미 높은 성과를 기록하던 대학들의 성장률은 비교적 완만했다. 이러한 현상은 전체 대학 간 격차가 감소하고, 시스템 전체의 평균 효율성이 상승했음을 의미한다.
• 지리적 차이도 눈에 띄었다. 이탈리아는 전통적으로 북부·중부 지역에 연구 인프라와 재정 여건이 집중되어 있었지만, 남부 지역 대학(예: 시칠리아, 풀리아, 바실리카타 등)은 PBFRS 도입 이후 상대적 성과 향상이 가장 크게 나타났다. 이는 남부 대학들이 기존의 열악한 여건을 극복하고, 새로운 인센티브 체계에 보다 적극적으로 대응했음을 시사한다.
• 재정적 인센티브(예: 연구비 증액, 성과 기반 보조금)와 평판적 인센티브(예: 국가·국제 평가에서의 순위 상승, 학술적 명성 강화)가 동시에 작용함으로써, 대학 내부의 연구 문화와 조직 구조가 변화하였다. 구체적으로는 연구팀 구성의 재편, 우수 연구자 유치 및 유지 전략 강화, 그리고 국제 협력 네트워크 확대 등이 관찰되었다.

이러한 결과는 대학 경영진과 정책 입안자에게 여러 가지 실질적인 시사점을 제공한다.

1. 인센티브 설계의 중요성: 재정적 보상만이 아니라 평판적 보상을 함께 고려한 복합 인센티브 구조가 대학들의 전반적인 연구 역량을 끌어올리는 데 효과적임을 확인할 수 있다.
2. 저성능 대학에 대한 지원 전략: 성과가 낮은 대학이 급격히 개선되는 현상은, 목표 지향적인 자금 배분이 ‘낙오 대학’의 성장 동력을 제공한다는 점을 보여준다. 따라서 정책 입안자는 일정 비율의 자금을 저성능 대학에 집중 배정함으로써 전체 시스템의 균형 발전을 도모할 수 있다.
3. 지역 격차 해소: 남부 대학의 눈에 띄는 향상은 지역 불균형을 완화하는 데 기여할 수 있음을 시사한다. 향후 정책에서는 남부 지역의 연구 인프라 확대와 인재 유입을 촉진하는 추가적인 지원책을 마련함으로써, 지역 간 격차를 더욱 줄일 수 있다.
4. 성과 평가의 다층적 접근: 전체, 학문 분야, 세부 분야별로 성과를 분석한 결과는, 단일 지표에 의존하기보다 다층적인 평가 체계를 구축하는 것이 보다 정확한 정책 판단에 도움이 된다는 점을 강조한다.

결론적으로, 본 연구는 **성과 기반 연구 자금 지원 시스템(PBFRS)**이 이탈리아 대학들의 연구 생산성을 향상시키고, 특히 저성능 대학 및 남부 지역 대학의 성과를 크게 끌어올리는 데 기여했음을 실증적으로 보여준다. 제시된 방법론(서지계량학적 데이터 수집·정규화·비교 분석)과 연구 결과는 다른 국가·지역에서 유사한 성과 기반 자금 지원 제도를 설계하거나 기존 제도를 개선하고자 하는 대학 경영진 및 정책 입안자들에게 유용한 참고 자료가 될 것이다. 앞으로도 장기적인 추적 조사와 다양한 학문 분야에 대한 세분화된 분석을 통해, PBFRS가 학문 발전과 사회적 가치를 창출하는 데 어떤 구체적인 메커니즘으로 작용하는지에 대한 심층적인 이해가 지속적으로 요구될 것이다.