Monte Carlo 검정의 검정력 정확히 구하는 알고리즘

초록

본 논문은 부트스트랩·퍼뮤테이션 등 Monte Carlo 검정의 검정력 β를 추정할 때, 사용자가 지정한 신뢰구간 길이와 신뢰수준을 보장하는 새로운 알고리즘을 제시한다. 기존 방법은 고정된 계산량 안에서 가능한 한 정확한 추정치를 제공하려 했지만, 정확도에 대한 확정적인 보장은 없었다. 제안된 절차는 스트림이라 불리는 독립 Bernoulli 시퀀스를 동시에 여러 개 운영하면서, 각 스트림이 α 임계값을 초과했는지 여부를 순차적으로 판단한다. 스트림이 충분히 해결되면 현재까지의 양성·음성 결과와 남은 미해결 스트림 수를 이용해 보수적인 신뢰구간을 구성하고, 구간 길이가 사용자가 요구한 Δ 이하가 될 때까지 진행한다. 기대 계산량은 대부분의 실용적인 상황에서 유한함을 정리와 시뮬레이션을 통해 입증하였다.

상세 분석

이 논문은 Monte Carlo 검정의 검정력 β=F(α) 를 정확히 추정하기 위해, p‑값의 분포 F 를 직접 샘플링할 수 없을 때 대신 p‑값을 생성하는 “스트림”을 이용한다는 독창적인 아이디어를 제시한다. 각 스트림 i는 독립적인 Bernoulli 시퀀스 X_{ij} (j=1,2,…) 로 구성되며, 이 시퀀스는 실제 p‑값 p_i 가 α 이하인지 여부를 판단하는 데 사용된다. 기존의 단순 평균 추정법 ˆβ_naïve 은 편향을 정확히 알 수 없고, 심지어 편향이 영원히 0.5 를 초과할 수 있다는 점에서 신뢰성이 떨어진다.

논문은 먼저 Gandy & Rubin‑Delanchy(2013)에서 제시된 순차 검정 절차를 차용한다. 이 절차는 두 개의 결정 경계 U_t 와 L_t 를 정의하고, 부분합 S_t 가 어느 경계에 먼저 도달하느냐에 따라 p_i ≤ α 혹은 p_i > α 로 판정한다. 경계는 ε‑오차를 제어하도록 재귀적으로 설계되며, 각 스트림에 대해 잘못된 판정 확률이 최대 ε 로 제한된다.

핵심 알고리즘(Algorithm 1)은 N 개의 스트림을 병렬로 진행하면서, 현재까지 관측된 양성(R_t)·음성(A_t)·미해결(|U_t|) 수를 이용해 보수적인 신뢰구간 I(R_t,A_t,|U_t|;γ) 를 계산한다. 이 구간은 모든 가능한 미해결 스트림 결과를 고려한 최악의 경우를 포함하도록 설계돼, β 가 구간에 포함될 확률이 최소 1‑γ 가 된다. 구간 길이가 사용자가 지정한 Δ 이하가 되면 알고리즘이 종료된다.

알고리즘의 기대 실행 시간에 대한 이론적 분석도 제공한다. 일반적인 상황에서는 각 스트림의 정지 시간 τ_i 가 무한 기대값을 가질 수 있지만, 충분히 큰 N 을 선택하고 일부 스트림만 완전히 해결하도록 설계하면 전체 기대 비용 E