숫자에 중독된 과학: 평가와 휴리스틱

초록

이 논문은 과학·사회 전반에 퍼진 숫자 의존성을 비판하고, 특히 출판·채용·연구 평가에서 과도하게 사용되는 서지계량 지표들의 오용을 역사적·제도적 맥락 속에 놓는다. 저자는 통계·서지학에 정통한 전문가가 인간 판단을 보조하는 간단한 휴리스틱을 활용해야 한다고 주장한다.

상세 분석

본 논문은 ‘숫자’라는 매개체가 과학적 판단을 어떻게 왜곡하고 있는지를 다층적으로 분석한다. 첫째, 20세기 초부터 시작된 ‘계량주의’ 흐름을 기술하며, 특히 1970년대 이후 정부와 학술기관이 도입한 성과지표(예: 논문 수, 인용 횟수, h‑index)와 그 배경에 깔린 ‘통제와 책임성’에 대한 사회적 요구를 역사적 사례와 함께 제시한다. 둘째, 디지털 혁명이 가속화되면서 데이터 수집·분석 비용이 급감하고, 이에 따라 서지계량학이 ‘편리한 대리 지표’로 급부상했지만, 실제로는 연구의 질적 요소를 포착하지 못한다는 점을 비판한다. 셋째, 저자는 이러한 상황이 ‘인간 직관에 대한 불신’과 ‘전문가 판단의 자동화’라는 두 축으로 결합되어, 평가자들이 숫자에만 의존하게 만드는 구조적 문제를 지적한다.

핵심적인 기술적 논점으로는 (1) p‑값과 같은 통계적 유의성 검정이 실제 연구 가치를 판단하는 데 한계가 있음, (2) 인용 지표는 분야별 인용 문화·출판 관행에 크게 좌우되어 비교 가능성이 낮음, (3) 서지계량 지표의 ‘시간 지연 효과’가 신진 연구자와 혁신적 아이디어를 억제한다는 점을 들었다. 또한, 저자는 ‘휴리스틱’이라는 개념을 도입해, 복잡한 판단 상황에서 ‘간단하지만 검증된 경험법칙’이 어떻게 통계적 오판을 보완할 수 있는지를 설명한다.

마지막으로, 논문은 평가자가 갖추어야 할 세 가지 핵심 역량을 제시한다. 첫째, 평가 대상 분야에 대한 깊은 전문지식; 둘째, 서지계량학 및 그 한계에 대한 충분한 이해; 셋째, 통계적 소양을 바탕으로 숫자를 비판적으로 해석할 수 있는 능력이다. 이러한 조건이 충족될 때만 비로소 숫자는 판단을 돕는 ‘도구’가 되고, 그렇지 않을 경우 오히려 판단을 왜곡하는 ‘마약’이 된다.

이러한 분석을 통해 저자는 현재의 과도한 계량주의가 학문적 다양성과 창의성을 위협하고 있음을 경고하며, 인간 중심의 정성적 판단과 보완적인 휴리스틱 활용을 통해 보다 균형 잡힌 평가 체계로 전환할 것을 촉구한다.