스위치백 실험의 무작위 검정

초록

스위치백(시간에 따라 치료와 대조를 교차) 실험에서, 단기간·소규모 데이터와 시계열 의존성·계절성·무거운 충격을 고려해도 유효한 무분포 p값을 제공하는 무작위 검정 프레임워크를 제시한다. 비예측성·유한한 캐리오버(m) 가정을 바탕으로 설계 블록을 “섹션”으로 묶어 조건부 할당법을 도출하고, 초점 결과의 임퓨터빌리티를 보장한다. 캐리오버 창 학습, 비예측성 진단, 세션별 학생화 검정, AR(1) 잡음 하의 파워 근사 등을 포함해 설계·분석 지침을 제공한다.

상세 분석

본 논문은 스위치백 실험에서 흔히 마주치는 두 가지 근본적인 통계적 난관을 해결한다. 첫째, 실험 기간이 짧고 표본이 제한된 상황에서도 전통적인 asymptotic 검정이 신뢰성을 잃는 경우가 많다. 이는 시계열 데이터가 자기상관, 계절성, 그리고 가끔 발생하는 heavy‑tail 충격을 포함하기 때문이다. 둘째, 치료가 시작되거나 종료될 때 발생하는 캐리오버(carryover)와 선행효과(anticipation) 같은 시간적 간섭은 “잠재적 결과”가 현재 할당에만 의존한다는 SUTVA 가정을 위배한다. 저자들은 이러한 문제를 회피하기 위해 두 가지 원시 조건을 도입한다. 비예측성(non‑anticipation)은 현재 시점의 결과가 미래 할당에 영향을 받지 않음을 의미하고, 유한 캐리오버 horizon m은 치료 효과가 최대 m 단계까지 지속될 수 있음을 명시한다. 이 두 조건이 충족될 때, 실험 설계 블록(예: 하루 혹은 한 주)을 사전에 정의된 “섹션”으로 묶어 조건부 무작위 할당법을 구성한다. 섹션 내부에서는 할당이 독립적으로 균등하게 이루어지므로, 관측된 결과를 재배열해도 각 섹션의 할당 구조는 변하지 않는다. 따라서 focal outcome(관심 결과)를 “imputable”하게 만들 수 있어, 실제 데이터에 기반한 무작위 검정이 가능해진다.

조건부 무작위 검정(CRT)은 기본적으로 “재표본화”가 아니라, 알려진 할당 메커니즘에 따라 가능한 모든 할당 조합을 열거하거나 Monte Carlo 샘플링을 통해 근사한다. 논문은 특히 “학생화(studentized) CRT”를 도입해, 세션별 평균 차이를 표준오차로 나눈 통계량을 사용함으로써, 세션 내 계절성(예: 시간대별 트래픽 변동)까지 자동으로 조정한다. 이 검정은 weak null(세션 평균 차이가 0) 하에서 asymptotic 정규성을 보장한다.

또한 저자들은 실무자가 캐리오버 창 m을 사전에 알지 못하는 경우를 대비해, 데이터 기반 진단 절차를 제시한다. 구체적으로, 각 후보 m에 대해 잔차의 자기상관 구조를 검정하고, 가장 낮은 p값을 보이는 m을 선택한다. 비예측성 검증은 “pre‑trend” 분석을 통해 수행되며, 치료 전 시점의 결과가 향후 할당과 독립적인지를 시각·통계적으로 확인한다.

파워 분석 측면에서는, 분산 지연 효과(distributed‑lag effect)를 AR(1) 잡음과 결합한 모델을 가정하고, 검정 통계량의 분산을 근사함으로써 샘플 크기·섹션 길이·캐리오버 horizon 간의 트레이드오프를 정량화한다. 시뮬레이션 결과는 제안된 CRT가 기존 t‑검정이나 부트스트랩 기반 방법보다 크기 유지와 파워 모두에서 우수함을 보여준다. 마지막으로, 이 프레임워크는 다변량 시계열, 교차 섹션·시간 설계, 혹은 비정형 블록 구조 등 다른 시간‑인덱스 실험에도 자연스럽게 확장될 수 있음을 논의한다.