대학 순위에 숨은 언어 편향: 독일·프랑스가 부당하게 낮게 평가된 이유

초록

본 연구는 500개 전 세계 대학을 대상으로 표준 서지계량 지표를 적용해 Leiden Ranking 2010을 구축하였다. 전체 Web of Science(WoS) 논문과 영어 논문만을 사용한 경우의 순위 차이를 비교한 결과, 특히 독일과 프랑스 대학이 비영어 논문 비중이 높은 탓에 인용 기반 순위에서 크게 낮게 평가되는 언어 효과가 존재함을 밝혀냈다.

상세 분석

이 논문은 언어가 서지계량 평가에 미치는 영향을 정량적으로 분석한 최초의 대규모 연구 중 하나이다. 연구자는 WoS에 등재된 500개 대학의 논문 데이터를 두 가지 방식으로 분류하였다. 첫 번째는 모든 언어로 발표된 논문을 포함한 전체 데이터셋이고, 두 번째는 영어 논문만을 추출한 제한 데이터셋이다. 두 데이터셋에 대해 논문 수, 총 인용 횟수, 평균 인용률, 논문당 피인용 횟수 등 전형적인 지표를 산출하고, 이를 기반으로 대학별 순위를 매겼다.

분석 결과, 영어 논문만을 사용했을 때 독일과 프랑스 대학의 순위가 평균 30~40위 상승했으며, 이는 비영어권 국가에서 발표되는 논문의 인용률이 영어 논문에 비해 현저히 낮다는 사실과 일치한다. 특히 독일은 자연과학 분야에서 독일어 논문이 다수 존재하고, 프랑스는 인문·사회과학 분야에서 프랑스어 논문 비중이 높아 이러한 현상이 두드러졌다. 반면 영국, 미국, 스칸디나비아 국가들은 영어 논문 비중이 90% 이상이어서 언어 효과가 미미했다.

또한 저자는 언어 편향이 대학 평가뿐 아니라 국가 정책, 연구비 배분, 국제 협력에도 파급 효과를 미칠 수 있음을 경고한다. 현재 많은 국제 순위가 영어 논문 중심의 인용 데이터를 사용하고 있기 때문에, 비영어권 대학은 실제 연구 성과에 비해 과소평가될 위험이 있다. 이를 보완하기 위해서는 비영어 논문의 인용 가중치를 조정하거나, 다국어 인용 데이터베이스를 구축하는 방안을 제시한다.

연구의 한계로는 WoS가 비영어 논문을 충분히 포괄하지 못한다는 점과, 인용 외에도 특허, 산학협력 등 다른 성과 지표를 포함하지 않았다는 점을 들었다. 그럼에도 불구하고 언어 효과가 순위에 미치는 규모를 실증적으로 보여준 점은 학계와 정책 입안자에게 중요한 시사점을 제공한다.