이탈리아 대학 연구 효율성 측정을 위한 비모수 서지계량 방법

초록

본 논문은 이탈리아 대학의 연구 활동 효율성을 평가하기 위해 데이터 엔벨로프 분석(DEA)을 서지계량 데이터와 결합한 비모수 방법론을 제시한다. 입력 변수로는 교수·연구 인력 규모와 외부 연구비를, 출력 변수로는 논문 수, 인용 횟수(품질) 및 저자별 기여도(공헌도)를 사용한다. 기존 연구가 학과별 집계에 의존한 반면, 저자명 기반 ‘바텀업’ 방식으로 논문을 직접 저자와 연결해 보다 정확한 생산량을 산출한다. DEA를 학과별로 적용한 뒤 가중 평균을 통해 대학 전체 효율지수를 도출함으로써 분야별 이질성을 보정한다.

상세 분석

이 연구는 두 가지 주요 혁신을 통해 기존 서지계량 기반 효율성 평가의 한계를 극복한다. 첫째, 효율성 측정을 단계적으로 수행한다. 초기 단계에서는 각 대학의 학과별(전공 분야별) DEA 모델을 구축하여 입력(인력, 외부 자금) 대비 출력(논문 수, 인용수, 저자 기여도) 비율을 계산한다. 학과별 효율점수는 동일 대학 내에서도 큰 차이를 보일 수 있는데, 이는 학문 분야마다 연구 문화·출판 관행이 다르기 때문이다. 둘째, 학과별 점수를 가중 평균하여 대학 전체 효율지수를 산출한다. 가중치는 해당 학과의 연구 인력 규모와 연구비 투입량을 반영하도록 설계돼, 규모가 큰 학과가 전체 점수에 미치는 영향을 적절히 반영한다. 이러한 두 단계 접근법은 학과 간 생산성 편차와 자원 배분의 비대칭성을 보정함으로써, 단순 총생산성 지표보다 더 정교한 비교를 가능하게 한다.

‘바텀업’ 데이터 구축 방식도 핵심적인 기여이다. 기존 연구는 저자 소속 정보를 기반으로 논문을 학과에 할당했지만, 저자명 기반 데이터베이스를 먼저 구축한 뒤, 각 저자의 소속 학과와 대학을 매핑한다. 이 과정에서 저자명 동명·동명 이슈, 소속 표기 다양성(예: 영문 약어, 현지어 표기) 등을 정교히 정제했으며, 결과적으로 논문-저자-학과-대학 간 4중 연결 고리를 확보했다. 따라서 특정 학과에 속하지 않은 저자가 해당 학과에 기여한 논문을 누락하거나, 반대로 다른 학과에 속한 논문이 잘못 포함되는 오류를 크게 줄였다.

DEA 모델 선택에서도 신중을 기했다. 입력-출력 비율을 비선형적으로 최적화하는 전통적 CCR(Charnes‑Cooper‑Rhodes) 모델과 변동수익(VRS) 모델을 모두 시험했으며, 민감도 분석을 통해 입력 변수(인력 규모, 외부 자금)와 출력 변수(논문 수, 인용수, 기여도)의 가중치 변동이 효율점수에 미치는 영향을 평가했다. 결과적으로 VRS 모델이 학과별 규모의 이질성을 더 잘 반영한다는 결론에 도달했다.

연구는 또한 기존 평가 체계와 비교했을 때 비용·시간 효율성이 뛰어나다는 점을 강조한다. 피어리뷰 기반 평가가 전문가 선정·심사에 수개월에서 수년이 소요되는 반면, 본 방법은 데이터베이스 구축 후 자동화된 DEA 계산으로 몇 주 내에 결과를 도출한다. 다만, 국제 학술지에 실린 논문만을 대상으로 하므로 특허·보고서·산학협력 등 비출판형 연구산출물은 배제된다는 한계가 있다.

전반적으로 이 논문은 이탈리아 대학 연구 효율성 평가에 있어 데이터 정제, 모델 설계, 결과 해석의 전 과정을 체계화함으로써, 정책 입안자와 대학 경영진이 자원 배분과 성과 관리에 활용할 수 있는 실용적인 도구를 제공한다.