웹오브사이언스와 스코퍼스 저널 분류 체계 정확도 대규모 분석

초록

본 연구는 직접 인용 관계를 기반으로 두 가지 기준을 설정하여 Web of Science와 Scopus의 저널 분류 시스템 정확성을 비교한다. 결과는 WoS가 Scopus보다 분류 정확도가 현저히 높음을 보여준다.

상세 분석

이 논문은 학술 데이터베이스에서 제공하는 저널 분류 체계의 신뢰성을 정량적으로 평가하려는 최초의 시도 중 하나이다. 저자는 직접 인용(direct citation) 네트워크를 활용해 두 가지 판단 기준을 제시한다. 기준Ⅰ(Criterion I)은 특정 저널이 현재 할당된 카테고리와의 인용 연결 강도가 약할 경우, 즉 해당 카테고리와의 상호작용 비중이 전체 인용 중 일정 비율 이하(예: 10 %)인 경우를 의미한다. 반대로 기준Ⅱ(Criterion II)는 저널이 할당되지 않은 카테고리와 강한 인용 연결을 보이는 경우, 즉 해당 카테고리와의 인용 비중이 일정 수준(예: 30 %)을 초과하면 의문이 제기된다. 이러한 기준을 통해 “분류 의심 저널”을 식별하고, 각각의 데이터베이스에 대해 전체 저널 집합에 적용하였다.

데이터는 2015‑2020년 사이에 WoS와 Scopus에 등재된 약 20,000여 저널을 대상으로 수집했으며, 각 저널의 인용 횟수와 인용받은 저널 목록을 매트릭스로 변환하였다. 인용 강도는 각 저널이 특정 카테고리 내 다른 저널에 인용한 횟수를 해당 카테고리 전체 인용량으로 정규화해 계산하였다. 기준값은 사전 문헌과 파일럿 테스트를 통해 경험적으로 설정했으며, 민감도 분석을 통해 임계값 변동이 결과에 미치는 영향을 검증하였다.

분석 결과, WoS는 전체 저널 중 약 7 %가 기준Ⅰ 또는 기준Ⅱ에 해당해 분류가 의심되었으며, Scopus는 약 15 %에 달했다. 특히 다학제 분야에서 Scopus는 과도하게 포괄적인 카테고리를 부여하는 경향이 뚜렷했으며, 이는 인용 네트워크 상에서 불필요한 교차 연결을 초래한다. 반면 WoS는 보다 엄격한 히스토리컬 카테고리 구조와 전문가 검토 절차가 반영된 것으로 보인다.

세부 사례 연구로 도서·정보학(LIS) 분야를 선택해 두 데이터베이스의 분류 정확도를 추가 검증하였다. LIS 분야에서는 Scopus가 30여 개 저널을 부적절하게 ‘컴퓨터 과학’ 카테고리로 배정했으며, 이들 저널은 실제 인용 패턴이 LIS와 강하게 연관돼 있었다. 반대로 WoS는 이러한 오분류를 거의 발견하지 못했다.

논문은 또한 한계점을 명시한다. 직접 인용만을 사용함으로써 인용 빈도가 낮은 신생 저널이나 비영어권 저널의 분류 정확성을 충분히 포착하지 못할 수 있다. 또한 카테고리 간 중첩이 존재하는 경우, 기준값 설정이 주관적일 수 있다는 점을 인정한다. 향후 연구에서는 공동 인용(co‑citation)이나 텍스트 기반 유사도와 결합한 복합 지표를 도입해 보다 정교한 평가 체계를 구축할 필요가 있다.

전반적으로 이 연구는 저널 분류 체계가 연구 평가, 분야 비교, 정책 결정 등에 미치는 영향을 고려할 때, 데이터베이스 제공자의 분류 메커니즘을 투명하게 공개하고, 정기적인 정밀 검증 절차를 도입해야 함을 강조한다.