분야별 인용 정규화의 최적화: 분류 체계와 백분위 활용
본 논문은 인용 영향력을 분야와 연도에 따라 정규화하는 기존 방법의 한계를 짚고, 각 논문을 단일 연구 분야(예: Chemical Abstracts 섹션)와 출판 연도로 구분한 뒤, 해당 집합의 인용 백분위를 이용해 정규화 점수를 산출하는 절차를 제안한다. 저자들은 저널 기반 정규화보다 분야 기반 정규화가 보다 공정하며, 백분위 사용이 평균 기반 지표의 왜곡을 방지한다는 점을 강조한다.
저자: Lutz Bornmann, Werner Marx, Andreas Barth
본 논문은 연구 논문의 인용 영향력을 평가할 때, 동일 분야·동일 연도 내에서 비교 가능한 ‘정규화된 인용 점수’를 산출하는 방법론을 재검토하고, 보다 이상적인 절차를 제시한다. 서론에서는 인용 정규화의 필요성을 강조한다. 각 학문 분야는 출판·인용·공동연구 관행이 다르기 때문에, 분야 간 직접적인 인용 수 비교는 편향을 초래한다는 점을 지적한다. 기존에는 두 가지 정규화 기준이 사용되어 왔다. 첫 번째는 동일 저널·동일 연도 평균 인용률을 기준으로 하는 ‘저널 정규화’, 두 번째는 동일 분야·동일 연도 평균 인용률을 기준으로 하는 ‘분야 정규화’이다.
저자는 저널 정규화가 갖는 여러 문제점을 상세히 논한다. 저널 자체가 품질 차이를 내포하고 있기 때문에, 저명한 저널에 실린 논문은 자연스럽게 높은 정규화 점수를 받는다. 이는 연구자들이 저널 명성에만 초점을 맞추게 하는 인센티브 구조를 만든다. 또한, 저널별 논문 수가 적을 경우 연도별 변동성이 커져, 장기적인 트렌드 파악이 어려워진다. 반면, 분야 정규화는 이러한 저널 품질 편향을 배제하고, 동일 연구 분야 내에서의 인용 관행 차이만을 보정한다. 그러나 기존 분야 정규화는 주로 Thomson Reuters의 ‘Web of Science’ 혹은 Elsevier의 ‘Scopus’와 같은 저널 분류 체계에 의존한다. 다학제 저널이나 매우 세분화된 연구 분야에서는 저널 전체가 하나의 범주에 묶이게 되어, 실제 연구 내용과 불일치하는 경우가 발생한다.
이러한 한계를 극복하기 위해 저자는 ‘논문별 분류’를 도입한다. 구체적으로, Chemical Abstracts Service(CAS)의 80개 섹션(및 하위 섹션)이라는 상세한 주제 분류 체계를 활용한다. CAS는 각 논문을 하나의 섹션에만 할당하며, 필요 시 교차참조를 제공한다. 이 방식은 다학제 저널에서도 논문의 핵심 주제에 따라 명확히 구분할 수 있게 해준다. 또한, 수학 분야에서는 MSC(수학 주제 분류), 의학 분야에서는 MeSH, 공학·기술 분야에서는 EI 등 각 분야별 전문 분류 체계를 활용할 수 있음을 제시한다.
정규화 점수 계산 단계에서는 전통적인 산술 평균 대신 ‘백분위(percentile)’를 사용한다. 인용 분포는 일반적으로 오른쪽으로 치우친(skewed) 형태를 띠며, 평균은 소수의 고인용 논문에 의해 크게 왜곡된다. 백분위는 전체 집합 내에서 해당 논문의 위치를 직접적으로 나타내어, “상위 10%에 속한다”와 같은 직관적인 해석을 가능하게 한다. 또한, 백분위는 동일 분야·연도 내에서의 비교를 정량화하면서도, 평균 기반 지표가 갖는 ‘극단값 민감성’을 회피한다.
통계적 타당성을 확보하기 위해 저자는 각 섹션별 연도별 논문 수를 검토한다. 2010년 기준 평균 11,869편, 최다 73,273편, 최소 240편 등 충분한 표본 크기를 확보하고 있어, 백분위 계산에 필요한 최소 요구조건을 충족한다. 다만, 섹션이 지나치게 넓을 경우 내부 이질성이 존재할 수 있기에, 필요시 하위 섹션까지 세분화하여 사용하도록 제언한다.
결론에서는 제안된 두 단계(① 논문별 분야·연도 기반 참조 집합 구성, ② 해당 집합의 인용 백분위 계산)를 ‘이상적인’ 인용 정규화 절차로 제시한다. 이는 (1) 분야 기반 정규화가 저널 기반보다 공정하고, (2) 백분위 사용이 평균 기반 정규화의 통계적 한계를 보완한다는 점에서 학술 평가, 연구 기관 비교, 정책 입안 등에 실질적인 개선을 제공한다. 특히 화학·재료·생물 등 CAS가 포괄하는 분야에서는 이미 구축된 섹션 분류를 활용해 즉시 적용 가능하다는 실용적 장점도 강조한다.
원본 논문
고화질 논문을 불러오는 중입니다...
댓글 및 학술 토론
Loading comments...
의견 남기기