스위치백 실험의 무작위 검정

스위치백 실험은 치료와 대조를 시간에 따라 교차시켜 진행하는 디자인으로, 개별 단위에 대한 무작위화가 불가능하거나 결과가 집계된 형태로만 관측되는 경우에 널리 활용된다. 이러한 실험은 제품 사이클이 짧고 빠른 의사결정이 요구되는 산업 현장에서 특히 중요하지만, 동시에 몇 가지 통계적 난관에 봉착한다. 첫째, 실험 기간이 제한적이어서 표본이 작고, 결과 시계열은 자기상관, 계절성, 그리고 가끔 발생하는 heavy‑tail 충격을 포함한다. 둘째, 치료가 시작되거나 종료될 때 발생하는 캐리오버(carryover)와 선행효과(anticipation) 같은 시간적 간섭은 전통적인 인과 추론 가정인 SUTVA를 위배한다. 이러한 문제는 기존의 asymptotic 검정이나 단순 무작위 재표본화 방법이 신뢰할 수 없는 결과를 초래하게 만든다. 본 논문은 이러한 제약을 극복하기 위해 “조건부 무작위 검정(Conditional Randomization Test, CRT)” 프레임워크를 제시한다. 핵심 아이디어는 실험 설계에서 이미 알려진 할당 메커니즘만을 이용해, 결과에 대한 어떠한 분포 가정도 하지 않고도 유효한 p값을 얻는 것이다. 이를 위해 두 가지 원시 가정을 도입한다. 첫 번째는 **비예측성(non‑anticipation)** 으로, 현재 시점의 관측값이 미래의 할당에 영향을 받지 않음을 의미한다. 두 번째는 **유한 캐리오버 horizon m** 으로, 치료 효과가 최대 m 단계까지 지속될 수 있음을 명시한다. 이 두 가정이 충족될 경우, 실험을 사전에 정의된 “섹션(section)”이라는 블록 단위로 묶을 수 있다. 섹션은 연속된 시간 구간(예: 하루, 일주일)으로, 각 섹션 내부에서는 할당이 독립적이고 균등하게 이루어진다. 이렇게 하면 섹션 수준에서 조건부 할당 분포가 명확히 정의되며, focal outcome(관심 결과)를 **imputable**하게 만든다—즉, 할당이 바뀌어도 해당 섹션의 결과를 재구성할 수 있다. 조건부 무작위 검정은 다음과 같이 수행된다. (1) 실제 할당을 관측하고, (2) 섹션별 할당을 고정한 채 가능한 모든 할당 조합을 열거하거나 Monte Carlo 샘플링을 통해 무작위로 생성한다. (3) 각 가상 할당에 대해 테스트 통계량(예: 치료와 대조 평균 차이)을 계산하고, (4) 실제 통계량이 이 가상 분포에서 차지하는 위치를 p값으로 정의한다. 이 과정은 완전한 무분포(valid) p값을 제공한다. 실무적 필요성을 고려해, 논문은 **학생화(studentized) CRT**를 도입한다. 여기서는 각 섹션의 평균 차이를 해당 섹션의 표준오차로 나눈 통계량을 사용한다. 이 방식은 섹션 내부의 계절성(예: 시간대별 트래픽 변동)이나 이질성을 자연스럽게 조정한다. 학생화된 통계량은 weak null(섹션 평균 차이가 0) 하에서 asymptotic 정규성을 만족하므로, 큰 샘플에서는 표준 정규분포를 이용한 근사도 가능하다. 캐리오버 horizon m과 비예측성을 사전에 알지 못하는 경우를 대비해, 저자들은 **데이터 기반 진단 절차**를 제시한다. 캐리오버 진단은 후보 m값마다 잔차의 자기상관 구조를 검정하고, 가장 낮은 p값을 보이는 m을 선택한다. 비예측성 검증은 치료 전 시점의 결과가 이후 할당과 독립적인지를 확인하는 “pre‑trend” 분석을 통해 수행한다. 이러한 진단은 실험 설계 단계에서 사전 검증으로 활용될 수 있다. 파워 분석은 분산 지연 효과(distributed‑lag effect)를 AR(1) 잡음과 결합한 모델을 가정한다. 논문은 검정 통계량의 분산을 근사하여, 샘플 크기, 섹션 길이, 캐리오버 horizon m 사이의 트레이드오프를 정량화한다. 시뮬레이션 결과는 제안된 CRT가 전통적인 t‑검정, 부트스트랩 기반 검정, 혹은 베이지안 방법보다 **크기 유지**와 **파워** 모두에서 우수함을 보여준다. 특히, heavy‑tail 충격이 존재하거나 캐리오버가 길어질 때도 검정의 유효성이 유지된다. 마지막으로, 이 프레임워크는 스위치백 외에도 **다변량 시계열, 교차 섹션·시간 설계, 비정형 블록 구조** 등 다양한 시간‑인덱스 실험에 자연스럽게 확장될 수 있음을 논의한다. 설계 블록을 적절히 정의하고, 할당 메커니즘을 명시한다면, 동일한 조건부 무작위 검정 절차를 적용해 유효한 인과 추론을 수행할 수 있다. 요약하면, 본 논문은 스위치백 실험에서 흔히 발생하는 시계열 의존성, 캐리오버, 비예측성 문제를 **조건부 무작위 검정**이라는 통계적 원칙에 기반해 해결한다. 두 가지 원시 가정과 섹션 기반 설계, 학생화된 통계량, 데이터 기반 진단, 그리고 파워 근사를 결합함으로써, 실무자가 제한된 데이터와 빠른 사이클 속에서도 신뢰할 수 있는 인과 결론을 도출하도록 돕는다.