Title: Testing Differences Statistically with the Leiden Ranking
ArXiv ID: 1112.4037
발행일: 2011-12-20
저자: Loet Leydesdorff and Lutz Bornmann
📝 초록 (Abstract)
이 연구는 새로운 영향력 지표인 "상위 10% 논문 비율 (PP 상위 10%)"을 소개하고, 이를 통해 SCImago 기관 순위에서 사용되는 우수성 지표(EI)와 비교합니다. 이 두 지표는 각각 스콜라루스 데이터와 톰슨 로이터 웹 오브 사이언스 데이터를 바탕으로 하며, CWTS(Centre for Science and Technology Studies)가 제공하는 안정 구간 내에서 통계적으로 유의미한 차이를 검증할 수 있습니다. 연구에서는 z-검정을 통해 대학 간 평점의 차이를 분석하고, 이를 Excel 시트를 이용해 계산하는 방법을 제시합니다.
💡 논문 핵심 해설 (Deep Analysis)
본 논문은 상위 10% 논문 비율 (PP 상위 10%)이라는 새로운 지표를 통해 대학 간의 영향력을 측정하고, 이를 통계적으로 검증하는 방법을 제시합니다. 이는 SCImago 기관 순위에서 사용되는 우수성 지표(EI)와 유사한 역할을 하며, 두 지표 모두 CWTS(Centre for Science and Technology Studies)가 제공하는 안정 구간 내에서 통계적으로 검증 가능하다는 점이 강조됩니다.
1. 새로운 영향력 지표의 도입
상위 10% 논문 비율은 대학이나 연구 기관이 출판한 모든 논문 중 상위 10%에 해당하는 논문의 비율을 나타냅니다. 이는 SCImago가 사용하는 우수성 지표와 유사하며, 두 지표 모두 학술 생산물의 질과 영향력을 측정하는데 활용됩니다.
2. 통계적 검증 방법
논문에서는 z-검정(z-test)을 통해 대학 간 평점 차이를 분석하는 방법을 제시합니다. 이는 관찰된 비율이 기대치와 얼마나 유의미하게 다른지를 측정하고, 두 기관의 비율이 통계적으로 유의미하게 다른지 여부를 판단하는데 사용됩니다.
z-검정은 다음과 같이 공식화됩니다:
\
📄 논문 본문 발췌 (Excerpt)
## 영향력 지표의 새로운 도입: 상위 10% 논문 비율 (PP 상위 10%)
이 새로운 영향력 지표는 최근 SCImago 기관 순위(http://www.scimagoir.com/pdf/sir_2011_world_report.pdf
)에서 소개된 우수성 지표(EI)와 일치합니다. SCImago는 스콜라루스 데이터를, 라이덴 순위는 톰슨 로이터 웹 오브 사이언스(Web of Science) 데이터를 기반으로 합니다. PP 상위 10%와 EI 모두 CWTS가 제공하는 안정 구간 내에서 통계적으로 기대에 대한 유의미한 차이를 검증할 수 있으며, 대학 간의 평점 차이도 z-검정(독립 비율 z-test)을 통해 분석 가능합니다(Bornmann 외, 초안; Sheskin, 2011, p. 656f.).
Excel 시트(http://www.leydesdorff.net/leiden11/leiden11.xls
)를 다운로드 받아 PP 상위 10% 지표에 해당 값을 입력하면 z-값을 계산할 수 있습니다. 다운로드 파일에 포함된 예시는 라이덴 대학교와 암스테르담 대학교 간의 비교(유의미한 차이 없음, p > 0.05) 및 라이덴 대학교와 기대치 간의 비교(기대치보다 유의미하게 높음, p < 0.001) 결과를 보여줍니다. 이 시트에 순위표에 나타난 대학이나 두 대학의 값을 입력하여 사용할 수 있습니다.
z-검정은 관찰된 비율이 기대와 얼마나 유의미하게 다른지를 측정하고 두 기관의 비율이 통계적으로 유의미하게 다른지 여부를 판단하는 데 사용됩니다. 일반적으로 검정 통계는 다음과 같이 공식화됩니다:
여기서 n1과 n2는 기관 1과 2가 출판한 모든 논문의 수(라이덴 순위 표의 “P” 열 참조)이며, p1과 p2는 기관 1과 2의 PP 상위 10% 값입니다. 또한:
여기서 t1과 t2는 기관 1과 2의 상위 10% 논문 수로, 시트에서 “P"와 “PP 상위 10%“를 기반으로 계산됩니다. 특정 집합에 대한 관찰된 값과 기대값을 비교할 경우 n1 = n2입니다. 이 경우 p1은 PP 상위 10% 값이고 p2는 기대값입니다; 우연의 이유로 기대값은 n2의 10%와 동일합니다.
z 절대값이 1.96보다 클 경우(p < 0.05) 두 평점의 차이는 통계적으로 유의미함을 의미하며, 1% 수준의 검정(p < 0.01)에서는 비판적 값이 2.576입니다. 그러나 여러 기관에 대한 일련의 검정에서는 가족 전체 오류의 누적 가능성을 고려하여 5% 이상의 유의 수준을 선택해야 합니다(Bonferroni 수정; Leydesdorff 외, 2011 참조).
요약하자면, 스콜라루스(Granada)와 웹 오브 사이언스(라이덴 대학교) 데이터베이스에 대한 지표를 통계적으로 검증 가능한 차이와 순위를 허용함으로써 우리 분야의 두 주요 연구팀이 협력한 것은 다행스러운 일입니다. 물론 대학과 같은 기관 단위의 순위화에서 간학문성/다학문성의 문제는 여전히 존재하지만, 필드 정규화와 인용 분산(1/NRef)을 통해 이를 완화할 수 있습니다(Zhou & Leydesdorff, 2011).