알트메트릭으로 사회적 영향 측정: 타당성 검증과 정규화 방안

초록

본 연구는 F1000Prime의 태그와 Altmetric 데이터를 결합해 약 10만 건의 논문을 분석함으로써 알트메트릭이 사회적 영향 측정에 유효한지 검증한다. “good for teaching” 태그가 부착된 논문은 품질을 통제한 뒤에도 알트메트릭 점수가 유의하게 높았으며, 반면 “new finding” 태그가 붙은 논문은 전통적 인용 횟수가 더 높았다. 또한 주제 수준에서의 정규화 필요성을 제시하며, 기존 저널 기반 카테고리보다 토픽 기반 정규화가 더 적합함을 시사한다.

상세 분석

이 논문은 세 가지 이질적인 데이터베이스(F1000, Altmetric, 자체 구축한 Web of Science 기반 DB)를 통합하여 약 100,000건의 논문 메타데이터를 구축한 뒤, 사회적 영향 측정 도구로서 알트메트릭의 타당성을 다각도로 검증한다. 핵심 방법론은 F1000 전문가가 논문에 부여한 태그를 ‘사회적 관심도’를 나타내는 지표로 활용하고, 이를 알트메트릭 점수와 전통적 인용 수와 교차 비교하는 것이다.

첫 번째 분석 단계에서는 논문의 품질을 통제하기 위해 F1000 점수와 전통적 인용수를 공변량으로 포함한 다중 회귀모형을 적용하였다. 결과는 “good for teaching”(교육용) 태그가 부착된 논문이 동일 품질 수준에서 알트메트릭 점수가 평균 23% 이상 상승한다는 점을 보여준다. 이는 교육자, 학생, 일반 대중 등 학문 외부 독자들이 소셜 미디어, 뉴스, 블로그 등에서 해당 논문을 활발히 공유한다는 것을 의미한다. 반면 “new finding”(새로운 발견) 태그는 전통적 인용수와 강한 양의 상관관계를 보였으며, 알트메트릭 점수와는 상대적으로 약한 연관성을 나타냈다. 이는 과학계 내부에서의 학술적 영향과 외부 대중의 관심이 서로 다른 메트릭으로 포착된다는 점을 시사한다.

두 번째 단계에서는 알트메트릭 데이터의 정규화 필요성을 검토했다. 기존 bibliometrics에서와 같이 저널 기반 주제 영역(Thomson Reuters의 Subject Categories)으로 정규화하면, 특정 토픽이 대중에게 높은 관심을 받는 현상이 왜곡될 위험이 있다. 저자들은 LDA(Latent Dirichlet Allocation) 기반 토픽 모델링을 통해 논문을 30여 개의 토픽 군으로 분류하고, 각 토픽별 평균 알트메트릭 점수를 산출했다. 결과는 “COVID‑19”, “climate change”, “artificial intelligence”와 같은 사회적 파급력이 큰 토픽이 전반적으로 높은 알트메트릭 점수를 보였으며, 같은 저널 내에서도 토픽에 따라 점수 차이가 크게 나타났음을 확인했다. 따라서 알트메트릭 정규화는 저널 수준이 아닌 토픽 수준에서 수행하는 것이 보다 공정하고 의미 있는 비교를 가능하게 한다.

이 논문은 알트메트릭이 사회적 영향의 정량적 지표로 활용될 수 있음을 실증적으로 입증하면서도, 정규화 방법론의 부재가 해석상의 오류를 초래할 수 있음을 경고한다. 특히, 정책 입안자나 연구 평가 기관이 알트메트릭을 의사결정에 활용하려면, 토픽 기반 정규화와 품질 통제(예: F1000 점수, 전통적 인용) 절차를 병행해야 한다는 실용적 권고를 제공한다.