관찰과 실험 데이터를 결합한 이질적 처리 효과 추정

본 논문은 “관찰 데이터와 실험 데이터를 결합해 이질적 처리 효과를 추정한다”는 문제를 다룬다. 전통적인 A/B 테스트는 평균 효과를 검증하는 데는 유용하지만, 고차원 공변량이 존재하고 사전 지식이 부족한 상황에서는 개별 단위의 이질적 효과를 탐지하기에 충분한 표본을 확보하기 어렵다. 반면, 온라인 서비스나 의료·공공 정책 분야에서는 관찰 데이터가 매우 풍부하게 존재한다. 저자는 이러한 관찰 데이터를 활용해 개별 단위의 처리 효과를 추정하고, 그 추정값이 실제 인과 효과와 순위가 보존된다는 가정 하에 실험 데이터를 통해 단일 차원의 단조 변환을 학습함으로써 전체 고차원 함수를 직접 추정하는 비용을 크게 절감하는 방법을 제안한다. 1. **기본 설정** - 단위 i는 시간 t에 관측되는 연속형 변수 x와 결과 y를 가진다. - 처리(treatment)는 x를 1만큼 변화시켜 y에 β_i·Δx 만큼 영향을 미친다. - 공변량 벡터 c_i는 고차원이며, β_i = f(c_i) 라는 (잠재적) 함수가 존재한다. 2. **관찰 데이터에서의 추정** - 대규모 패널 데이터(시간에 따라 반복 측정)에서 각 단위별로 선형 회귀를 수행해 ˆβ_i = (X_i'X_i)^{-1}X_i'Y_i 를 얻는다. - 구조 방정식 x_{ti}=θ_i+ψ_iU_{ti}+ε_{ti}, y_{ti}=µ_i+β_i x_{ti}+γ_iU_{ti}+η_{ti} 를 가정하고, U_{ti}가 관찰되지 않음에 따라 편향이 발생한다. - 기대값을 전개하면 ˆβ_i = β_i + Cov(x_i,U_i)/Var(x_i)·γ_i 가 된다. 즉, 편향은 β_i와 연관된 형태로 나타난다. 3. **순위 보존 조건** - 만약 Cov(x_i,U_i)/Var(x_i)·γ_i 가 β_i와 양의 상관관계를 유지한다면, β_i > β_j ⇒ ˆβ_i > ˆβ_j 가 성립한다. - 이는 “큰 인과 효과가 큰 편향을 만든다”는 직관과 일치한다. 이 조건이 만족될 경우 ˆβ_i는 β_i의 순위를 보존하는 충분통계량이 된다. 4. **관찰 기반 함수 g(c) 학습** - 관찰 데이터로부터 얻은 ˆβ_i와 공변량 c_i를 이용해 머신러닝(예: 회귀 트리, 랜덤 포레스트 등)으로 g(c)=E