메타분석의 함정: 실패안전수(FSN)의 역사와 지속적 오용

본 논문은 Rosenthal(1979)이 제안한 실패안전수(FSN)라는 통계량이 메타분석에서 출판 편향을 정량화하기 위한 도구로 널리 사용되어 온 과정을 되짚으며, 그 이론적·실천적 한계가 어떻게 지속적으로 무시되어 왔는지를 종합적으로 검토한다. 첫 부분에서는 FSN의 기본 개념을 소개한다. FSN은 현재 메타분석에 포함된 연구들의 평균 효과를 통계적으로 유의미하게 만들기 위해, ‘파일 서랍’에 숨겨진, 즉 출판되지 않은 연구가 몇 개 필요할지를 계산한다. Rosenthal은 65,000개의 숨겨진 연구가 필요하다고 주장했지만, Elashoff(1978)는 숨겨진 연구가 음의 효과를 가질 경우 그 수는 관찰된 연구 수와 동등해질 수 있다고 비판한다. 이는 FSN이 ‘숨겨진 연구는 평균적으로 영 효과를 가진다’는 가정에 전적으로 의존한다는 근본적 문제를 드러낸다. 이후 Iyengar와 Greenhouse(1988)는 선택 모델을 통해 파일 서랍 가정이 비현실적임을 수학적으로 증명했고, Scargle(2000)와 Schonemann & Scargle(2008)는 FSN이 고정효과 모델에 기반해 효과 크기의 이질성을 무시한다는 점을 강조한다. 다음으로 저자는 FSN에 대한 비판이 주요 메타분석 교과서에 어떻게 반영됐는지를 조사한다. 인용 빈도 분석을 통해 Hedges & Olkin(1985), Hunter & Schmidt(1990, 2004), Cooper & Hedges(1994) 네 권을 선정하고, 각 책에서 FSN을 다루는 구절을 인용한다. Hedges & Olkin은 “결합 검정은 실제 연구자가 관심을 갖는 질문에 답하지 못한다”며 FSN의 근본적 가정을 비판하지만, 영 효과 가정 자체는 다루지 않는다. Hunter & Schmidt은 FSN이 “고정효과 모델”에 기반한다는 점을 지적하고, 효과 크기가 연구마다 다르면 필요한 파일 서랍 수가 크게 감소한다는 점을 언급한다. 그러나 이 역시 숨겨진 연구가 영 효과를 가진다는 전제는 무시한다. Cooper & Hedges(1994)에서는 Begg(1994)의 인용을 통해 “숨겨진 연구가 영 효과를 중심으로 분포한다는 가정은 인위적”이라고 비판하지만, 실제 교정 방법이 편향을 반영하지 못한다는 점에만 초점을 맞춘다. 이후 저자는 1979년부터 2008년까지 Web of Science에서 검색된 520건의 메타분석을 대상으로 FSN 사용 현황을 추세 분석한다. 연구 분야를 심리학, 의학, 보건, 정신의학, 기타(범죄학, 정치학, 약리학 등)로 구분하고, 4년 단위로 빈도를 집계한다. 결과는 Figure 1에 제시된 바와 같이, 전 분야에서 FSN 사용이 지속적으로 증가했으며, 특히 1990년대 중반 이후 급격한 상승세를 보였다. 선형 회귀와 지수 회귀를 모두 적용했을 때, 지수 모델이 R²=0.87, MNSQ-Residual=0.07이라는 높은 적합도를 보이며, FSN 사용이 단순히 선형적으로 증가한 것이 아니라 지수적으로 확산되었음을 시사한다. 이러한 실증적 결과는 이론적 비판이 교과서와 실제 연구에 충분히 반영되지 않았음을 보여준다. 비판이 제기된 이후에도 FSN은 여전히 “안전망”으로 인식되어 메타분석 결과를 ‘보강’하는 도구로 활용되고 있다. 저자는 이를 두고 “FSN이 여전히 유용한 도구로 간주되는 이유는, 비판적 논의가 실제 연구 관행에 충분히 스며들지 못했기 때문이다”라고 결론짓는다. 마지막으로 논문은 메타분석 실무자에게 다음과 같은 실천적 제언을 한다. 첫째, FSN에 의존하기보다는 선택 모델, 트리밍 앤 필링, 베이즈적 방법 등 보다 견고한 출판 편향 교정 기법을 도입할 필요가 있다. 둘째, 교과서와 교육 과정에서 FSN의 근본 가정—숨겨진 연구가 평균적으로 영 효과를 가진다—을 명확히 비판하고, 대안적 방법론을 균형 있게 제시해야 한다. 셋째, 연구자는 메타분석 결과를 보고할 때 FSN 외에도 효과 크기의 이질성, 연구 설계 차이, 그리고 실제 파일 서랍 현황을 종합적으로 고려해야 한다. 요약하면, 본 논문은 FSN이 초기 제안 이후 지속적으로 비판받아 왔음에도 불구하고, 교과서와 실제 메타분석에서 그 비판이 충분히 반영되지 않아 사용이 급증한 현상을 체계적으로 보여준다. 이는 메타분석 분야에서 통계적 도구의 이론적 타당성을 검증하고, 교육 및 실무에 반영하는 과정이 얼마나 중요한지를 강조한다.