사전·실험 데이터 결합으로 A/B 테스트 변동성 감소

초록

본 논문은 사전 실험(pre‑experiment) 데이터와 실험 중(in‑experiment) 데이터를 동시에 활용해 평균 처리 효과(ATE) 추정기의 분산을 감소시키는 새로운 회귀 보정 프레임워크를 제안한다. 기존 CUPED·CUPAC이 사전 데이터에만 의존하는 한계를 극복하고, 처리에 영향을 받지 않는 실험 중 공변량을 선택적으로 포함함으로써 보다 큰 분산 감소와 높은 검정력을 달성한다. 이론적 비정규성, 일관된 분산 추정량, 그리고 Etsy 실험에서 입증된 실무 적용 가능성을 제공한다.

상세 분석

논문은 먼저 전통적인 차이‑평균(diff‑in‑means) 추정기의 한계와, 사전 공변량을 이용한 CUPED·CUPAC 방법의 통계적 메커니즘을 상세히 재현한다. CUPED은 선형 회귀를, CUPAC은 비선형 머신러닝 모델 f(X)를 사용해 Y를 예측하고, 예측값을 차감한 잔차의 분산을 최소화한다. 이때 핵심 가정은 처리와 사전 공변량 X가 독립이라는 점이며, 이는 무작위 배정에 의해 보장된다. 그러나 사전 데이터는 실험 중 발생하는 행동 패턴(예: 페이지 뷰, 장바구니 추가 등)과의 상관성이 낮아 분산 감소 효과가 제한적이다.

저자는 “처리‑민감도가 낮은” 실험 중 공변량 Z를 정의하고, 이러한 Z가 처리에 의해 변하지 않음(즉, W ⟂ Z)을 검증 가능한 통계적 테스트로 확인할 수 있다고 주장한다. Z를 선형 보정에 추가함으로써 두 단계 보정(첫 단계: 기존 CUPAC 예측 f(X), 두 번째 단계: Z에 대한 선형 회귀)으로 확장한다. 수학적으로는
\