짧은 인용 기간에 장기 인용 영향 예측을 향상시키는 방법

본 연구는 1980년 발표된 475,391편의 논문을 대상으로, 출판 직후 몇 년간의 인용 퍼센타일에 저널 임팩트 팩터(JIF)와 저자 수·참고문헌 수·페이지 수 등 보조 변수를 추가했을 때 장기(31년 차) 인용 퍼센타일을 얼마나 더 정확히 예측할 수 있는지를 검증한다. 결과는 첫 1~3년 동안 이러한 보조 변수를 포함하면 설명력(R²)이 크게 증가하지만, 4년 이후에는 추가 효과가 사라진다는 점을 보여준다.

저자: Lutz Bornmann, Loet Leydesdorff, Jian Wang

짧은 인용 기간에 장기 인용 영향 예측을 향상시키는 방법
**1. 연구 배경 및 목적** 학술 논문의 인용 영향력을 평가할 때, 장기 인용(예: 30년 차)만을 기준으로 하면 평가 시점이 지나치게 늦어 실무적 활용이 어렵다. 따라서 초기 몇 년간의 인용 데이터를 활용해 장기 인용을 예측하려는 시도가 활발히 이루어지고 있다. Bornmann, Leydesdorff, Wang(예정 논문)에서는 저널 임팩트 팩터(JIF)를 보조 변수로 포함했을 때 초기 인용이 장기 인용을 더 정확히 예측한다는 결과를 제시하였다. 본 연구는 그 결과를 확장하여, JIF 외에도 저자 수, 참고문헌 수, 페이지 수와 같은 논문 구조적 요인이 초기 인용 기반 장기 인용 예측에 기여하는지를 검증한다. **2. 데이터와 변수 정의** - **표본**: 1980년 발표된 475,391편의 저널 논문(문서 유형: 기사, 리뷰, 노트)으로, Web of Science에 등재된 논문을 사용하였다. - **인용 퍼센타일**: Hazen(1914) 공식 (100·(i‑0.5)/n) 을 적용해 각 논문의 연도별 인용을 동일 분야·연도 내 퍼센타일로 변환하였다. - **참조 집합(reference set)**: 동일 WoS 주제 카테고리와 문서 유형을 가진 논문 집합이며, 최소 100편 이상이어야 한다. 다중 카테고리 논문의 경우 평균 퍼센타일을 사용한다. - **보조 변수**: - JIF₈₃: 1983년 저널 임팩트 팩터(1981·82년 발표 논문의 1983년 인용수/동기간 ‘citable items’ 수). - 저자 수, 참고문헌 수, 페이지 수: 모두 로그 변환(log) 후 회귀에 투입, 비선형(감소 수익) 효과를 반영. **3. 분석 방법** 30개의 회귀 모델 세트를 구축하였다. 각 세트는 장기 인용 퍼센타일(t₃₁)을 종속변수로 하고, 단기 인용 퍼센타일(t₁~t₃₀) 중 하나를 독립변수로 사용한다. 모델 1은 단일 단기 인용만 포함하고, 모델 2~5는 차례로 JIF, 로그 저자 수, 로그 참고문헌 수, 로그 페이지 수를 추가한다. OLS 회귀를 적용했으며, 표본 규모가 크므로 정규성 가정 위반이 크게 문제되지 않는다. 모델 선택 기준으로는 설명력(Adjusted R²)과 Bayesian Information Criterion(BIC)를 활용하였다. **4. 주요 결과** - **t₁(첫 해) 모델**: 기본 Adjusted R²=0.09 → JIF 추가 시 0.19 (두 배 상승). 저자 수는 추가 효과가 없었고, 로그 참고문헌 수와 페이지 수를 차례로 포함하면 최종 R²=0.25에 도달한다. - **t₂(두 번째 해) 모델**: 기본 R²=0.35 (이미 높은 수준). 모든 보조 변수를 포함해도 R²는 0.43으로 상승폭이 제한적이다. - **t₃~t₃₀** 모델: 초기 1~3년 구간에서는 보조 변수가 설명력을 현저히 높이지만, 4년 차 이후에는 추가 효과가 거의 사라진다. 이는 초기 인용 패턴이 장기 인용을 결정짓는 핵심이며, 초기 단계에서 저널 명성 및 논문 특성이 큰 변동성을 제공한다는 것을 의미한다. - **모델 적합도**: 로그 변환된 보조 변수들이 선형 혹은 이차형보다 낮은 BIC 값을 보여 최적 모델임을 확인했다. 동일 데이터에 P100(인용 순위) 방식을 적용해도 결과가 일관되어, Hazen 퍼센타일 방식에 국한되지 않는 일반성을 확보했다. **5. 논의 및 실무적 함의** - **초기 평가**: 연구 성과 보상, 프로젝트 진행 상황 점검 등 짧은 인용 창을 활용한 평가에서는 초기 인용 퍼센타일에 JIF와 논문 메타데이터(저자·참고문헌·페이지)를 함께 고려한 보정 지표를 사용하면 보다 정확하고 공정한 평가가 가능하다. - **기관·대학 순위**: 개별 논문 수준에서 보정 회귀 모델을 적용해, 저널 명성이나 논문 규모에 의해 왜곡된 순위를 완화할 수 있다. Bornmann et al.(2013)의 대학 순위 조정 사례와 유사하게, 보정된 인용 메트릭은 비조정 메트릭과 중간 정도의 상관관계(r≈0.47)를 보이며, 실제 영향력을 더 잘 반영한다. - **향후 연구**: 보정된 인용 메트릭을 전문가 평가(F1000 등)와 교차 검증하여 타당성을 검증하고, 다른 분야·연도에 대한 일반화 가능성을 탐색할 필요가 있다. 또한, 보정 모델에 추가적인 변수(예: 국제 협력 여부, 연구 자금 규모 등)를 포함해 예측력을 더욱 향상시킬 여지가 있다. **6. 결론** 본 연구는 초기 1~3년 동안의 인용 퍼센타일에 저널 임팩트와 논문 구조적 특성을 통합하면 장기 인용(31년 차) 예측의 설명력이 크게 향상된다는 것을 실증하였다. 그러나 이러한 보정 효과는 초기 몇 년에만 유의하며, 이후 연도에서는 추가 변수가 거의 기여하지 않는다. 따라서 짧은 인용 창을 활용한 연구 평가·성과 측정 체계 설계 시, 초기 인용 데이터와 함께 JIF, 저자 수, 참고문헌 수, 페이지 수와 같은 보조 변수를 반드시 포함하는 것이 바람직하다.

원본 논문

고화질 논문을 불러오는 중입니다...

댓글 및 학술 토론

Loading comments...

의견 남기기