파괴성 지표의 타당성 검증: 동료 평가와의 비교

초록

본 연구는 Wu·Wang·Evans(2019)와 Bu·Waltman·Huang(2019)이 제안한 파괴성 지표가 실제로 ‘파괴성(Disruptiveness)’을 측정하는지를 검증한다. 외부 기준으로 F1000Prime의 동료 평가 태그(특히 “new finding”)를 사용해 120,179편의 논문을 분석했으며, 기존 지표와 새롭게 제안한 변형 지표들을 비교하였다. 요인분석은 모든 변형이 동일한 차원을 측정함을 보여주었고, 회귀분석 결과는 DI5(‘no‑k’ 변형)가 다른 지표보다 약간 더 높은 수렴 타당도를 가진다는 결론을 도출한다.

상세 분석

이 논문은 파괴성 지표의 개념적 정의와 수학적 구현을 면밀히 검토한 뒤, 기존 지표들의 한계점을 지적한다. 원래 Wu·Wang·Evans가 제시한 DI는 세 가지 카운트( i : FP를 인용하지만 FP의 참고문헌을 인용하지 않은 논문, j : FP와 그 참고문헌을 모두 인용한 논문, k : FP는 인용하지 않지만 FP의 참고문헌만 인용한 논문 )를 이용해 (i‑j)/(i+j+k) 형태로 계산한다. 저자들은 k‑항이 과도하게 큰 경우 DI 값이 거의 0에 수렴하고, 실제 파괴성을 과소평가한다는 점을 지적한다. 따라서 k를 제외한 DI′(i‑j)/(i+j) 형태를 제안했으며, 이를 ‘no‑k’ 변형이라고 부른다. 또한 Bu·Waltman·Huang가 제시한 의존성 지표( bibliographic coupling 기반)와 그 변형도 함께 검토한다.

방법론적으로는 F1000Prime 데이터베이스를 활용해 2000‑2016년 사이에 선정된 120,179편의 논문을 표본으로 삼았다. 각 논문에 대해 7개의 ‘새로움’ 관련 태그(예: new finding, novel drug target 등)와 3개의 비새로움 태그(confirmation, negative/null results, etc.)가 부여되었으며, 태그 수를 정량적 외부 기준으로 사용했다. 논문별로 5가지 파괴성 지표(DI, DI5, DI′, DI′5, 그리고 의존성 지표)를 계산하고, 요인분석을 통해 공통 차원을 확인했다. 이후 다중 회귀분석을 수행해 각 지표가 ‘new finding’ 태그 수와 얼마나 강하게 연관되는지를 비교했다.

결과는 요인분석에서 모든 지표가 하나의 주요 요인에 크게 로딩되어 동일 차원을 측정함을 보여준다. 회귀분석에서는 DI5(‘no‑k’ 변형, i‑j)/(i+j) 형태가 가장 높은 회귀계수를 기록했으며, 이는 기존 DI보다 새로움 태그와의 상관관계가 약 3‑5% 정도 더 높다는 의미다. 의존성 지표는 부정적인 계수를 보였으며, 이는 의존성이 높을수록 파괴성이 낮다는 이론적 기대와 일치한다. 그러나 전체적으로 모든 지표의 설명력(R²)은 0.02~0.04 수준에 머물러, 파괴성 지표가 새로움 태그를 완벽히 대체할 수는 없음을 시사한다.

논문의 한계로는 F1000Prime가 생명·의학 분야에 편중돼 있어 일반 학문 분야로의 일반화가 제한적이며, 태그 자체가 주관적 평가에 기반하므로 측정 오류가 존재할 가능성이 있다. 또한 k‑항을 완전히 배제하는 것이 항상 최선인지에 대한 추가 검증이 필요하다.

이러한 분석을 종합하면, 파괴성 지표는 ‘새로운 연구’를 포착하는 데 일정 부분 기여하지만, 현재 형태로는 완전한 타당성을 확보했다고 보기 어렵다. 특히 ‘no‑k’ 변형이 가장 유망하므로, 향후 연구에서는 k‑항을 조정하거나 가중치를 재설정하는 방안을 모색할 필요가 있다.