패턴 탐색에서 다중 가설 검정과 전체 오류율 강제 제어

초록

본 논문은 데이터 마이닝 알고리즘이 생성하는 다수의 패턴에 대해 동시에 통계적 유의성을 검정할 수 있는 다중 가설 검정 프레임워크를 제안한다. 제안 방법은 강력한 의미에서 전체 오류율(FWER)을 보장하며, 실제 및 합성 데이터 실험을 통해 검정력 손실 없이 오류 제어가 가능함을 입증한다.

상세 분석

이 연구는 데이터 마이닝, 특히 빈발 아이템셋이나 연관 규칙 등 패턴 탐색 과정에서 발생하는 수천·수만 개의 후보 가설을 동시에 평가해야 하는 현실적인 문제를 다룬다. 기존의 다중 가설 검정 기법은 보통 독립적인 검정 통계량을 전제로 하거나, 사전 정의된 가설 집합에만 적용 가능했으며, 데이터 마이닝 알고리즘이 동적으로 생성하는 가설에 적용하기엔 한계가 있었다. 논문은 이러한 한계를 극복하기 위해 “데이터 마이닝 알고리즘 독립형” 프레임워크를 설계하였다. 핵심 아이디어는 원본 데이터와 동일한 구조를 가진 무작위 재표본(또는 퍼뮤테이션) 집합을 여러 번 생성하고, 각 재표본에 동일한 탐색 알고리즘을 적용해 얻은 패턴들의 통계량 분포를 이용해 임계값을 추정하는 것이다. 이 과정에서 전체 오류율(FWER)을 강제적으로 제어하기 위해 최소 p값 보정(min‑p)과 최대 통계량 기반 보정(max‑stat) 두 가지 접근법을 제시한다. 특히, 최소 p값 보정은 각 재표본에서 가장 작은 p값을 기록하고, 이 값들의 1‑α 분위수를 전체 검정의 임계값으로 사용함으로써 강력한 FWER 제어를 달성한다. 또한, 논문은 이 방법이 “강한 의미(strong sense)”에서 FWER를 제어한다는 수학적 증명을 제공한다. 즉, 실제 데이터에 존재하는 어떤 패턴이든, 그 패턴이 영가설을 만족하더라도 전체 오류율이 사전에 설정한 α 이하로 유지된다는 보장을 의미한다. 실험 부분에서는 실제 거래 데이터와 인공적으로 생성된 데이터셋을 이용해 기존의 보니페론(Bonferroni) 보정, 베르니쿠리(FDR) 제어 방법과 비교하였다. 결과는 제안 방법이 동일한 α 수준에서 더 높은 검정력을 보이며, 특히 패턴 수가 급증하는 경우에도 오류 제어가 안정적임을 보여준다. 또한, 계산 복잡도 측면에서 재표본 수와 탐색 알고리즘의 복잡도에 따라 선형적으로 증가함을 확인했으며, 실용적인 데이터 규모에서도 충분히 적용 가능함을 입증한다. 전체적으로 이 논문은 데이터 마이닝 분야에서 다중 가설 검정의 이론적 기반을 확장하고, 실제 적용 가능성을 높인 중요한 기여라 할 수 있다.