페이지랭크와 인용수의 승부

초록

본 연구는 인공지능, 소프트웨어 공학, 이론·방법 분야의 컴퓨터 과학 논문 데이터를 활용해 저자 인용 네트워크에 12가지 순위 산정 방식을 적용하였다. 페이지랭크 기반 방법과 전통적인 총 인용 횟수 방식을 비교하고, 각 분야의 권위 저널 편집위원 명단을 ‘우수 연구자’ 기준으로 삼아 순위의 타당성을 검증하였다. 결과적으로 페이지랭크 기반 방법이 단순 인용수보다 우수하다는 증거는 발견되지 않았으며, 실무에서 복잡한 알고리즘을 도입할 필요성을 재검토하도록 제안한다.

상세 요약

이 논문은 학자 평가 지표로서 페이지랭크(PageRank) 기반 방법이 실제로 기존의 단순 인용 횟수(citation count)보다 더 신뢰할 만한 결과를 제공하는지를 실증적으로 검증한다. 먼저 데이터 수집 단계에서 세 개의 컴퓨터 과학 하위 분야—인공지능(AI), 소프트웨어 공학(SE), 이론·방법(Theory & Methods)—에 속하는 논문 메타데이터를 Web of Science와 DBLP 등 공개 데이터베이스에서 추출하였다. 각 논문의 저자 정보를 정제하고, 저자 간 인용 관계를 구축해 3개의 대규모 저자 인용 네트워크를 형성하였다. 네트워크는 정점이 저자, 방향성 간선이 한 저자가 다른 저자를 인용한 횟수를 나타낸다.

다음으로 순위 산정 방법을 12가지로 확장하였다. 기본적인 총 인용 횟수 외에도 평균 인용 횟수, h‑index 변형, 그리고 페이지랭크의 여러 변형(예: 가중치 페이지랭크, 토픽 기반 페이지랭크, 시간 감쇠 페이지랭크 등)을 포함한다. 각 방법은 동일한 네트워크에 적용돼 저자별 점수를 산출하고, 점수에 따라 내림차순 정렬해 순위를 매겼다.

평가 기준으로는 ‘외부 기준’인 편집위원 명단을 활용했다. 각 분야에서 영향력 있는 국제 저널(예: AI 분야의 Journal of Artificial Intelligence Research, SE 분야의 IEEE Transactions on Software Engineering, Theory 분야의 Journal of the ACM)의 현재 및 과거 편집위원을 수집하고, 이들을 ‘우수 연구자’ 집합으로 정의하였다. 이후 각 순위 방법별로 이 집합이 상위 N(예: 상위 100, 200) 안에 포함되는 비율을 정밀도(precision)와 재현율(recall) 형태로 측정했다.

실험 결과는 일관되게 페이지랭크 기반 방법이 단순 인용 횟수와 비교해 통계적으로 유의미한 차이를 보이지 않았다. 특히, 가중치 페이지랭크나 시간 감쇠 페이지랭크는 최신 논문에 편향되는 경향이 있어 편집위원 명단과의 일치도가 오히려 낮아졌다. 반면, 총 인용 횟수는 가장 높은 정밀도와 재현율을 기록했으며, 계산 비용도 훨씬 낮았다.

논문은 또한 방법론적 한계에 대해 논의한다. 편집위원 명단 자체가 완전한 ‘우수성’ 지표가 아니며, 분야별 편집 정책 차이와 개인의 편집 활동 기간 차이가 결과에 영향을 미칠 수 있다. 또한, 저자 이름 동음이의 문제와 공동 저자 순서에 대한 가중치 부여 방식이 순위에 미치는 영향을 충분히 통제하지 못했다. 그럼에도 불구하고, 대규모 실증 분석을 통해 페이지랭크 기반 복잡한 알고리즘이 단순 인용 횟수를 대체할 충분한 근거가 부족함을 강조한다.

결론적으로, 연구자는 실무에서 저자 평점에 페이지랭크를 도입하기 전에 비용 대비 효과를 면밀히 검토할 것을 권고한다. 특히, 연구비 심사, 학술상 선정, 승진 심사 등에서 빠르고 투명한 지표가 요구되는 상황에서는 총 인용 횟수가 여전히 가장 실용적인 선택임을 시사한다.