수상과 거절 연구제안서의 과학적 성과 비교 분야별 차이와 시사점

초록

두 주요 연구지원기관의 1339건(생명과학 668건, 사회과학 671건) 신청서를 메타‑평가한 결과, 전체적으로 수상자들이 평균적으로 더 높은 논문 생산성과 인용 영향을 보였다. 그러나 가장 뛰어난 거절자들을 추출하면 인용 영향에서는 수상자를 앞서며, 생산성에서는 분야에 따라 차이가 나타났다. 생명과학에서는 수상자가 최고 거절자를 앞섰지만, 사회과학에서는 반대로 거절자가 더 높은 생산성을 기록했다.

상세 분석

본 연구는 두 국제적인 펀딩 기관이 제공한 신청서 데이터를 결합하여, 심사 결과(수상·거절)와 과학적 성과 지표(논문 수, 인용 횟수, 분야 정규화 인용 영향, h‑index 등) 사이의 관계를 정량적으로 분석하였다. 총 1339건의 신청서(생명과학 668건, 사회과학 671건)를 대상으로, 먼저 전체 집단에서 수상자와 거절자를 비교했을 때, 수상자가 평균적으로 더 많은 논문을 발표하고 인용 횟수도 높았다. 이는 기존 연구에서 제시된 ‘수상자는 우수한 연구자다’는 가설을 뒷받침한다.

다음 단계에서는 거절자 중에서도 가장 높은 성과를 보인 상위 10 %(또는 동일한 인용·생산성 구간에 속하는 거절자)를 선별하였다. 이들 ‘프리미엄 거절자’는 인용 영향 측면에서 수상자를 능가했으며, 특히 사회과학 분야에서 이러한 차이가 두드러졌다. 이는 심사 과정이 인용 영향, 즉 연구의 학문적 파급력을 충분히 포착하지 못했을 가능성을 시사한다.

생산성(논문 수)에서는 분야별 차이가 뚜렷했다. 생명과학에서는 수상자가 프리미엄 거절자를 앞섰지만, 사회과학에서는 거절자가 더 많은 논문을 발표했다. 이는 두 분야의 연구 문화와 출판 관행 차이(예: 생명과학은 대규모 협업과 고임팩트 저널 중심, 사회과학은 단독·소규모 연구와 장기적 서적·보고서 출판)와 연관될 수 있다. 또한, 심사위원이 분야별 생산성 기대치를 다르게 적용했을 가능성도 고려된다.

통계적으로는 다변량 회귀분석과 매칭 기법을 활용해 연령·경력·소속기관 등 혼란 변수를 통제했으며, 결과는 전반적으로 견고했다. 그러나 데이터가 두 기관에 국한되어 있고, 인용 데이터는 Web of Science/Scopus 기반이므로 학술지 선택 편향이 존재할 수 있다. 또한, 인용 영향은 장기적인 축적 효과이므로, 최근에 제출된 신청서에 대해서는 과소평가될 위험이 있다.

이러한 결과는 연구지원 정책 입안자에게 두 가지 중요한 시사점을 제공한다. 첫째, 현재의 피어 리뷰 시스템이 ‘우수한 연구자’를 선별하는 데는 어느 정도 효율적이지만, ‘잠재적 고인용 연구’를 놓칠 위험이 있다. 둘째, 분야별 특성을 반영한 맞춤형 평가 기준이 필요하다. 특히 사회과학에서는 생산성보다 인용 영향에 더 큰 가중치를 두는 것이 바람직할 수 있다.