대학별 인용 영향 차이의 실질적 의미를 조정예측과 한계효과로 해석하기

본 논문은 평가서지학(evaluative bibliometrics) 분야에서 대학 간 인용 영향 차이를 통계적으로만 판단하는 한계를 극복하고자, 조정예측(adjusted predictions)과 한계효과(marginal effects)를 활용한 실질적 의미 해석 방법을 제시한다. 연구 배경으로는 Williams(2012)의 ‘통계적 유의성뿐 아니라 실질적·실용적 의미를 고려해야 한다’는 주장을 인용한다. 데이터는 1980년부터 2010년까지 독일어권 4개 대학(대학 1~4)의 출판물과 인용 데이터를 InCites(Thomson Reuters)에서 추출한 것으로, 총 22 백만 건의 Web of Science 논문 중 해당 대학의 논문을 대상으로 한다. 핵심 종속변수는 PP top 10% (상위 10% 인용 논문 비율)이며, 이는 역 퍼센타일(inverted percentile) ≤ 10인 경우 1, 그 외는 0으로 이진화한다. 독립변수는 다음과 같다. (1) 대학(범주형, 대학 1을 기준); (2) 저자 수(연속형); (3) 페이지 수(연속형); (4) 저널 임팩트 팩터(JIF, 연속형); (5) 학문 분야(자연과학, 공학·기술, 의학·보건); (6) 문서 유형(논문, 노트, 회의록, 리뷰); (7) 출판 연도(역순 코딩, 1=2010, 31=1980). 변수 선택은 기존 문헌(Bornmann & Daniel, 2008 등)과 인용 영향에 대한 선행 연구를 근거로 한다. 분석 전략은 로지스틱 회귀 모델을 단계적으로 구축하는 것이다. 모델 1은 대학 변수만 포함한 기본 모델이며, 모델 2는 모든 독립변수를 추가한다. 모델 2에서 대학 2와 4는 대학 1과 차이가 사라지고, 대학 3은 통계적으로 유의하게 높은 고인용 비율을 보인다. 이는 저널 평판(JIF) 등 외생 요인이 대학 간 차이를 크게 설명한다는 점을 시사한다. 모델 3에서는 JIF와 페이지 수의 제곱항을 도입해 ‘수확 체감’ 효과를 반영한다. 두 제곱항 모두 부정적이며 유의하게 나타나, 일정 수준을 초과하면 추가적인 저널 영향력이나 논문 길이가 인용 확률에 부정적 영향을 미칠 수 있음을 보여준다. 통계적 유의성만으로는 실질적 차이를 직관적으로 파악하기 어렵기에, 논문은 조정예측과 한계효과를 도입한다. 평균 조정예측(AAP)은 모든 관측값을 평균화한 뒤 각 범주(예: 대학)별 예측 확률을 제공한다. 결과는 대학 1이 16.2%, 대학 3이 24.5%의 고인용 확률을 보이며, 대학 3이 대학 1보다 8.3%포인트 높다는 평균 한계효과(AME)로 구체화된다. 이러한 수치는 정책 입안자나 대학 평가 담당자가 ‘얼마나 큰 차이인가’를 직관적으로 이해하도록 돕는다. 또한, 대표값(Representative Values)에서의 조정예측(APRV)과 한계효과(MERV)를 그래프로 시각화한다. 예를 들어, JIF가 5에서 15로 증가할 때 각 대학의 고인용 확률 변화곡선을 그려, 변수값에 따른 효과의 비선형성을 한눈에 확인할 수 있다. Stata 12의 `margins`와 `marginsplot` 명령을 활용해 이러한 예측값과 효과를 손쉽게 계산하고 시각화한다는 점도 강조한다. 결론적으로, 논문은 평가서지학 연구에서 통계적 유의성뿐 아니라 실질적·실용적 의미를 동시에 고려해야 함을 재확인한다. 조정예측과 한계효과는 로지스틱 회귀와 같은 복잡한 모델에서도 실무자가 이해하기 쉬운 형태로 결과를 전달할 수 있는 강력한 도구이며, 특히 대학 간 인용 영향 비교와 같은 정책·평가 상황에서 유용하게 적용될 수 있음을 실증적으로 보여준다.