전문가 의견 기반 학술지 품질 지표

본 논문은 스페인 인문·사회과학 분야 학술지의 품질을 전문가 의견에 기반해 정량화하는 새로운 지표 체계를 제시한다. 연구 배경으로는 기존의 인용‑기반 지표가 인문·사회과학 분야에서는 적용이 어려운 점, 그리고 학문적 내용·방법론적 특성을 반영한 평가가 필요하다는 점을 들었다. 이를 위해 스페인 국립연구위원회(CNEAI) 소속 11,799명의 교수·연구자를 대상으로 웹 설문을 진행했으며, 45.6%에 해당하는 5,368명의 유효 응답을 확보했다. 설문은 두 핵심 질문으로 구성되었다. 첫 번째 질문에서는 응답자가 자신의 전문 분야에서 가장 중요한 학술지를 3개 선정하도록 했고, 두 번째 질문에서는 각각을 0‑10점 척도로 평가하도록 했다. 설문에 포함된 학술지 목록은 스페인 학술지 1,900여 종과 외국 학술지 8,000여 종으로, 응답자가 목록에 없을 경우 직접 추가할 수 있도록 설계되었다. 수집된 데이터는 ‘투표 횟수(첫·두·세 번째 위치)’와 ‘점수 합계’를 별도로 기록하였다. 이를 바탕으로 두 가지 품질 지표를 개발하였다. 첫 번째 지표 V₁은 각 위치별 점수 합계에 가중치를 부여한 가중합이다. 가중치는 첫 번째 위치가 가장 중요하다는 가정 하에 3:2:1(예시) 혹은 설문 응답자의 평균 점수를 이용해 자동 추정할 수 있다. V₁은 점수·투표 빈도·위치를 모두 반영함으로써, 동일 총점이라도 첫 번째 위치에서 높은 점수를 받은 학술지가 더 높은 평가를 받게 만든다. 두 번째 지표 V₂는 투표 횟수 자체에 가중치를 두어 ‘친숙도’를 강조한다. 즉, 많은 연구자가 반복적으로 해당 학술지를 선택했는가를 측정한다. 연구자는 이 두 지표를 인류학과 도서·정보학 두 분야에 적용해 학술지 순위를 도출하고, V₁과 V₂ 간 순위 차이를 비교하였다. 인류학 분야에서는 V₁이 높은 학술지가 국제적인 인용도와 피어리뷰 강도가 높으며, V₂가 높은 학술지는 해당 분야 연구자들의 일상적 참고 빈도가 높았다. 도서·정보학 분야에서도 유사한 경향이 나타났으며, 특히 지역적 편향이 두드러졌다. 스페인 내 학술지가 외국 학술지보다 높은 V₁을 보이는 경우가 많았으며, 이는 스페인 학계가 자국 학술지를 선호하는 경향을 반영한다. 반면, V₂는 외국 학술지에서도 높은 점수를 받는 경우가 있었는데, 이는 해당 학술지가 국제적인 연구 흐름에 널리 활용되고 있음을 시사한다. 가중치 설정에 대한 논의도 상세히 다루었다. 임의 가중치(3,2,1)를 적용하면 계산이 간단하지만, 학문 분야별 평균 점수 차이를 반영하지 못한다는 한계가 있다. 따라서 저자들은 설문 응답자의 평균 점수를 이용해 가중치를 자동 추정하는 방식을 제안했으며, 이는 ‘첫 번째 위치 평균 점수 > 두 번째 위치 평균 점수 > 세 번째 위치 평균 점수’라는 전제 하에 가중치 비율을 결정한다. 이 방법은 각 분야의 특성을 데이터 기반으로 반영하므로, 보다 정교한 품질 평가가 가능하다. 또한, 연구는 국제 학술지와의 비교 가능성을 제시한다. 현재 설문에 포함된 8,000여 개 외국 학술지 목록을 활용하면, 스페인 학술지와 외국 학술지 간 인지도·품질 인식 차이를 정량화할 수 있다. 향후 연구에서는 다국가·다언어 설문을 확대해, 국제적인 전문가 의견 기반 지표를 구축하고, 기존 인용 기반 지표와 통합하는 방안을 모색할 수 있다. 결론적으로, 본 논문은 ‘전문가 주관 평가’를 체계적인 수치화 모델로 전환함으로써, 인문·사회과학 분야에서 흔히 겪는 정량적 평가의 한계를 보완한다. 투표 빈도와 점수 가중치를 동시에 고려한 두 지표(V₁, V₂)는 학술지 선택의 다차원적 특성을 포착하고, 정책 입안자·평가 기관이 보다 균형 잡힌 평가 체계를 설계하는 데 실용적인 도구가 될 수 있다. 특히, 지역적·전문성 편향을 드러내는 분석 결과는 학술지 평가 정책이 단일 지표에 의존하기보다 다중 지표를 활용해야 함을 강조한다.