개별 처리 효과 분포와 분위수 추정을 위한 강화된 무작위화 기반 방법

초록

본 논문은 완전 무작위화 및 층화 무작위화 실험에서 개별 처리 효과(ITE)의 전체 분포와 분위수를 추정하기 위한 기존 무작위화 검정의 보수성을 완화하는 두 가지 새로운 방법을 제안한다. 첫 번째 방법은 기존 검정을 ‘처리군 전용’ 혹은 ‘대조군 전용’ 효과 추정으로 재해석한 뒤, 두 결과를 결합해 전체 모집단에 대한 추정을 얻는다. 두 번째 방법은 실제로 큰 효과를 가진 처리군 단위의 수를 명시적으로 제어하여 최악의 경우 가정에 의한 과도한 보수성을 줄인다. 이 두 기법은 시뮬레이션과 실제 데이터 적용을 통해 기존 방법 대비 유의미한 검정력 향상을 보이며, 표본 기반 실험, 층화 실험, 매칭을 통한 준실험 등 다양한 설계에도 확장 가능함을 보여준다.

상세 분석

논문은 개별 처리 효과(τ_i)의 분포와 분위수를 직접 추정하고자 하는 근본적인 목표에서 출발한다. 기존 무작위화 기반 접근법(Caughey et al., 2023; Su & Li, 2024)은 ‘최악의 경우’를 가정해 모든 큰 효과를 가진 단위가 동일하게 처리군 혹은 대조군에 배정된다고 전제한다. 이는 실제 무작위 배정에서는 거의 일어나지 않으며, 결과적으로 검정의 p‑값이 과도하게 보수적이어서 중위수 이하의 분위수에 대해 의미 있는 신뢰구간을 제공하지 못한다는 한계가 있다.

첫 번째 개선책은 기존 검정을 ‘처리군 전용 효과’와 ‘대조군 전용 효과’에 대한 예측 구간(prediction interval)으로 재해석한다. 즉, H_{n,k,c} 가정 하에 처리군에만 적용되는 τ_i의 상위 n‑k 개를 무한대로 설정하고, 나머지는 c 로 고정하는 것이 최소 검정 통계량을 만든다는 사실을 이용한다. 이때 처리군에 대한 예측 구간과 대조군에 대한 예측 구간을 각각 구한 뒤, 두 구간을 교집합하거나 합집합 형태로 결합해 전체 모집단에 대한 신뢰구간을 만든다. 이 과정에서 기존 방법이 전체 모집단에 대해 동시에 최악의 구성을 고려해야 하는 부담을 피하고, 실제 무작위화가 제공하는 정보(처리군·대조군 각각의 관측값)를 충분히 활용한다.

두 번째 개선책은 Berger & Boos(1994)의 ‘p‑값 보정’ 아이디어를 차용한다. 여기서는 가설 H_{n,k,c} 하에 “c 초과 효과를 가진 처리군 단위의 실제 수”를 변수로 두고, 그 수에 대한 상한을 사전에 지정한다(예: 0.05 수준에서 95% 신뢰구간). 그런 다음 해당 상한을 만족하는 모든 가능한 효과 구성에 대해 Fisher 무작위화 검정을 수행하고, 가장 큰 p‑값을 선택한다. 이는 최악의 경우 가정(모든 큰 효과가 처리군에 몰린 경우)을 완화하면서도, 실제 데이터가 보여주는 ‘큰 효과 단위의 수’를 반영해 검정력을 크게 끌어올린다.

두 방법 모두 유한표본(디자인 기반) 유효성을 유지한다는 점에서 강점이 있다. 특히, 첫 번째 방법은 구현이 비교적 간단하고, 두 번째 방법은 보수적인 검정력을 유지하면서도 실제 효과 분포에 대한 정보를 더 많이 활용한다. 논문은 이 두 방법을 완전 무작위화 실험, 층화 무작위화 실험, 표본 기반 실험, 그리고 매칭을 통한 준실험 설계에 각각 적용하고, 시뮬레이션을 통해 기존 방법 대비 평균 검정력 향상이 15~30%p 정도임을 입증한다. 또한, 실제 교육 프로그램과 의료 개입 데이터를 분석해 중위수 이하 분위수에서도 유의한 효과를 발견함으로써 실무적 가치를 강조한다.