다중 검정에서 보니페리와 BH의 안정성 비교와 PFER 제어

초록

본 논문은 대규모 마이크로어레이 데이터와 같이 수천 개의 가설을 동시에 검정할 때, 전통적인 보니페리 절차가 과도하게 보수적이라는 일반적인 인식이 실제로는 절차에 부과된 과도한 오류 기준 때문임을 밝힌다. 저자들은 보니페리 절차를 PFER(가족당 오류 기대값) 제어 방법으로 재정의하고, 이를 베냐민–호흐(Benjamini–Hochberg) 절차와 비교한다. 특히 p값 간 상관관계가 존재할 경우, 보니페리 절차가 발견 수와 진정한 발견 수의 분산 측면에서 더 높은 안정성을 보이며, 이는 실험 재현성에 중요한 장점으로 작용한다는 결론을 제시한다.

상세 분석

논문은 먼저 기존 문헌에서 보니페리 절차가 “과도하게 보수적”이라고 평가되는 근거를 비판한다. 전통적인 보니페리 절차는 FWER(가족 전체 오류율)를 α 수준 이하로 제한하도록 설계되었으며, 이는 실제 연구에서 허용 가능한 오류 수준보다 훨씬 낮은 기준을 적용하게 만든다. 저자들은 이러한 기준을 PFER(가족당 오류 기대값)로 전환함으로써, 허용 가능한 평균 오류 수를 직접 제어하도록 변형한다. PFER는 특히 대규모 검정 상황에서 실질적인 오류 비용을 더 직관적으로 반영한다는 점에서 유용하다.

다음으로, 보니페리와 BH 절차의 “안정성”을 정의한다. 여기서 안정성은 두 가지 통계량의 분산, 즉 (1) 전체 발견 수(Reject)와 (2) 진정한 발견 수(True Positive)의 변동성을 의미한다. 저자들은 시뮬레이션을 통해 다양한 p값 상관 구조(독립, 등분산, 블록 상관)를 설정하고, 각 절차가 동일한 기대 오류 수준에서 얼마나 일관된 결과를 내는지를 비교한다. 결과는 보니페리 절차가 특히 상관이 존재할 때 분산이 현저히 낮아, 동일한 실험을 반복했을 때 발견 수가 크게 변동하지 않는다. 반면 BH 절차는 FDR(거짓 발견 비율) 제어에 초점을 맞추어 설계되었기 때문에, 기대값은 비슷하지만 분산이 크게 증가한다. 이는 실제 마이크로어레이 분석에서 “불안정한” 결과를 초래할 위험이 있음을 시사한다.

또한, 저자들은 보니페리 절차가 PFER를 직접 제어함으로써, 연구자가 사전에 허용 가능한 오류 수(예: 평균 1개의 거짓 양성)를 명시적으로 설정할 수 있게 한다는 점을 강조한다. 이는 실무에서 “α=0.05”와 같은 추상적 기준보다 직관적이며, 특히 비용이 높은 후속 실험(예: 검증용 PCR)에서 오류를 최소화하는 데 유리하다.

마지막으로, 논문은 보니페리 절차의 보수성이 실제로는 “과도한 α 수준”에 기인한 것이며, PFER 기반으로 재조정하면 보수성과 검정력 사이의 균형을 효과적으로 맞출 수 있음을 실증한다. 따라서 대규모 유전체 데이터 분석에서 보니페리 절차는 여전히 경쟁력 있는 선택지이며, 특히 결과의 재현성과 안정성이 중요한 상황에서 강점이 두드러진다.