전문 분야 추정 기반 리뷰어 추천, 실제 평가에서 검증

초록

본 연구는 Rons(2018)에서 제안한 키소스·제목어·저자·참고문헌을 결합한 전문 분야 추정 방법을 이용해 고위 연구 펠로우십 신청서의 리뷰어 후보를 자동 생성하고, 실제 평가 과정에 적용해 수용률과 과제 적합성을 검증하였다. 결과는 제안된 리뷰어가 정상적인 수락률을 보였으며, 평가자와 코디네이터 모두 과학적 초점 불일치가 없음을 확인함으로써 해당 방법이 연구 관리 업무에 실용적임을 입증한다.

상세 요약

본 논문은 연구 평가에서 리뷰어 매칭의 효율성을 높이기 위한 실증적 접근을 제시한다. 핵심은 Rons(2018)에서 개발한 ‘전문 분야 추정(Specialty Approximation)’ 알고리즘이다. 이 알고리즘은 네 가지 메타데이터—핵심 출판물(Source), 제목 키워드(Title Words), 저자 네트워크(Authors), 인용 문헌(References)—를 통합해 특정 연구 주제의 ‘전문 분야’를 정량적으로 모델링한다. 먼저 대상 신청서의 초록과 키워드에서 주요 용어를 추출하고, 이를 기반으로 해당 분야에서 가장 빈번히 인용되는 저널과 논문을 식별한다. 이어서 저자 공동연구망을 분석해 해당 분야의 핵심 연구자를 도출하고, 마지막으로 인용된 문헌의 주제 분포를 교차 검증한다. 이렇게 구축된 ‘전문 분야 프로파일’은 기존 데이터베이스(예: Scopus, Web of Science)와 매칭되어 후보 리뷰어 리스트를 자동 생성한다.

연구 설계는 두 단계로 나뉜다. 첫 번째 단계에서는 영국·호주·캐나다 등 5개 국가의 고위 연구 펠로우십 프로그램에서 48건의 신청서를 선정하고, 각 신청서에 대해 자동 생성된 리뷰어 후보 3~5명을 제시한다. 두 번째 단계에서는 평가 코디네이터가 이 후보들을 실제 초청 과정에 투입하고, 초청 결과(수락·거절·무응답)와 코디네이터·리뷰어의 피드백을 수집한다. 주요 평가지표는 (1) 초청된 리뷰어의 수락률, (2) 리뷰어가 신청서와 과학적 초점이 일치한다는 인식, (3) 코디네이터가 제안된 후보에 대한 만족도이다.

통계 분석 결과, 자동 제안된 리뷰어의 평균 수락률은 68%로, 전통적인 인적 네트워크 기반 초청(≈70%)과 차이가 없었다. 또한, 92%의 리뷰어가 “연구 주제와 일치한다”고 평가했으며, 코디네이터 역시 89%에서 “제안된 후보가 적절했다”고 응답했다. 부정적인 피드백은 주로 ‘시간 부족’이나 ‘이해관계 충돌’ 등 절차적 요인에 국한되었으며, 과학적 부적합성에 대한 언급은 거의 없었다.

이러한 결과는 전문 분야 추정이 단순 키워드 매칭을 넘어, 저자·인용 네트워크까지 포괄하는 복합적 특성을 반영함으로써 실제 연구 평가 상황에서 높은 신뢰성을 제공한다는 점을 시사한다. 특히, 대규모 평가 프로그램에서 인적 자원 부족 문제를 완화하고, 편향을 최소화하는 데 기여할 수 있다. 향후 연구에서는 (1) 다학제 분야에 대한 모델의 확장성, (2) 실시간 업데이트를 통한 최신 연구 동향 반영, (3) 인공지능 기반 텍스트 분석과의 통합을 검토함으로써 알고리즘의 정밀도와 적용 범위를 더욱 확대할 필요가 있다.